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Essential Netty in Action (Netty 实战 ( 精 
RE) 





It is a book about the Essentials of Norman Maurer's Netty in Action(base on MEAP v10). 
Through this book, you can quickly start with Netty. This is a GitBook version of the book: 
http://waylau.gitbooks.io/essential-netty-in-action/ Let's READ! 


«Netty È A(158&)) 是 对 Norman Maurer 的 «Netty in Action) (&- MEAP v10) 的 一 个 中 
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对 于 初学 者 ， 也 推荐 参阅 《Netty 4.x 用 户 指南 》。 与 之 类 似 的 NIO 框架 还 有 MINA, 可 参阅 
《Apache MINA 2 用 户 指南 》 
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关于 开源 


本 项 目 是 针对 当前 市 面 上 缺乏 Netty 的 相关 的 参考 资料 而 产生 的 ， 广 大 Netty 爱好 者 通过 开源 
方式 来 学 习 交 流 Netty， 推 动 Netty 社区 的 繁荣 


当然 ， 广 大 开发 者 需 认 识 到 ， 开 源 不 等 于 免费 ， 对 于 原著 的 版 权 ， 仍 应 抱 有 阁 意 。 请 支持 原 


者 ! 


如 何 开 始 阅 读 
选择 下 面 入 口 之 一 : 


e https://github.com/waylau/essential-netty-in-action/ 的 SUMMARY.md (源码 ) 

e http://waylau.gitbooks.io/essential-netty-in-action/ 点 击 Read 按钮 (同步 更 新 ， 国 内 访 
问 速度 一 般 ) 

e https://waylau.com/essential-netty-in-action/ (国内 访问 速度 快 ， 定 期 更 新 。 最 后 更 新 于 
2016-2-16) 
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意见 、 建 议 


如 有 勘误 、 意 见 或 建议 欢迎 拍 砖 https://github.com/waylau/essential-netty-in-action/issues 


联系 作者 : 


您 也 可 以 直接 联系 我 : 


e 博客 : https://waylau.com 

e 邮箱 : waylau521(at)gmail.com 

e 微 博 : http://weibo.com/waylau521 
e 开源 : https://github.com/waylau 


^ 大 大 
其 他 书籍 
若 您 对 本 书 不 感冒 ， 笔 者 还 写 了 其 他 方面 的 超过 一 打 的 书籍 (可见 
https://waylau.com/books/) ， 多 是 开源 电子 书 。 


本 人 也 维护 了 一 个 books-collection 项 目 ， 里 面 提 供 了 优质 的 专门 给 程序 员 的 开源 、 免 费 图 书 
集合 。 


开源 捐赠 


FETA, RAFE 
请 老 卫 喝 一 杯 烈 酒 ~ 





捐赠 所 得 所 有 款项 将 用 于 开源 事业 ! 
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Netty- 措 步 和 数据 驱动 


fF 4 x Netty 


Netty 是 一 个 利用 Java 的 高 级 网 络 的 能 力 ， 隐 藏 其 背后 的 复杂 性 而 提供 一 个 易于 使 用 的 API 
的 客户 端 /服务 器 框架 。Netty 提供 高 性 能 和 可 扩展 性 ， 让 你 可 以 自由 地 专注 于 你 站 正 感 兴 趣 的 
东西 ， 你 的 独特 的 应 用 ! 


在 这 一 章 我 们 将 解释 Netty 在 处 理 一 些 高 并 发 的 网 络 问 题 体 现 的 价值 。 然 后 ， 我 们 将 介绍 基本 
概念 和 构成 Netty 的 工具 包 ， 我 们 将 在 这 本 书 的 其 余部 分 深入 研究 。 


一 些 历史 


在 网 络 发 展 初期 ， 需 要 花 很 多 时 间 来 学 习 socket 的 复杂 ， 寻 址 等 等 ， 在 C socket 库 上 进行 编 
码 ， 并 需要 在 不 同 的 操作 系统 上 做 不 同 的 处 理 。 


Java 早期 版 本 (1995-2002) 介 绍 了 足够 的 面向 对 象 的 糖衣 来 隐藏 一 些 复杂 性 ， 但 实现 复杂 的 客 
户 端 -服务 器 协议 仍然 需要 大 量 的 样板 代码 (和 进行 大 量 的 监视 才能 确保 他 们 是 对 的 ) 。 


这 些 早期 的 Java API (java.net) 只 能 通过 原生 的 socket 库 来 支持 所 谓 的 “blocking ( 阻 
塞 ) "的 功能 。 一 个 简单 的 例子 


Listing 1.1 Blocking I/O Example 


ServerSocket serverSocket = new ServerSocket(portNumber );//1 
Socket clientSocket = serverSocket.accept(); //2 
BufferedReader in - new BufferedReader( //3 
new InputStreamReader(clientSocket.getInputStream())); 
Printwriter out - 
new PrintWriter(clientSocket.getOutputStream(), true); 
String request, response; 


while ((request = in.readLine()) != null) { //4 
if ("Done".equals(request)) { //5 
break; 
} 
} 
response = processRequest(request); //6 
out.println(response); //7 
} //8 


1.ServerSocket 创建 并 监听 端口 的 连接 请 求 


2.accept() 调用 阻塞 ， 直 到 一 个 连接 被 建立 了 。 返 回 一 个 新 的 Socket 用 来 处 理 客户 端 和 服务 
端的 交互 


3. 流 被 创建 用 于 处 理 socket 的 输入 和 输出 数据 。BufferedReader 读 取 从 字符 输入 流 里 面 的 本 
文 。PrintWriter 打印 格式 化 展示 的 对 象 读 到 本 文 输出 流 


4. 处 理 循 环 开始 readLine() 阻塞 ， 读 取 字 符 串 直到 最 后 是 换行 或 者 输入 终止 。 
5. 如 果 客 户 端 发 送 的 是 “Done” 处 理 循 环 退 出 

6. 执 行 方法 处 理 请 求 ， 返 回 服务 器 的 响应 

7. 响 应 发 回 客户 端 

8. 处 理 循环 继续 


显然 ， 这 段 代 码 限 制 每 次 只 能 处 理 一 个 连接 。 为 了 实现 多 个 并 行 的 客户 端 我 们 需要 分 配 一 个 
新 的 Thread 给 每 个 新 的 客户 端 Socket( 当 然 需 要 更 多 的 代码 )。 但 考虑 使 用 这 种 方法 来 支持 大 
量 的 同步 ， 长 连接 。 在 任何 时 间 点 多 线程 可 能 处 于 休眠 状态 ， 等 待 输入 或 输出 数据 。 这 很 容 
易 使 得 资源 的 大 量 浪 费 ， 对 性 能 产生 负面 影响 。 当 然 ， 有 一 种 替代 方案 。 

除了 示例 中 所 示 阻 塞 调用 ， 原 生 socket 库 同时 也 包含 了 非 阻塞 VO 的 功能 。 这 使 我 们 能 够 确 
定 任何 一 个 socket 中 是 否 有 数据 准备 读 或 写 。 我 们 还 可 以 设置 标志 ， 因 为 读 / 写 调用 如 果 没 有 
数据 立即 返回 ; 就 是 说 ， 如 果 一 个 阻塞 被 调用 后 就 会 一 直 阻 塞 ， 直 到 处 理 完 成 。 通 过 这 种 方 
法 ， 会 带 来 更 大 的 代码 的 复杂 性 成 本 ， 其 实 我 们 可 以 获得 更 多 的 控制 权 来 如 何 利用 网 络 资 


JAVA NIO 


在 2002 年 ，Java 1.4 引入 了 非 阻塞 API 在 java.nio & (NIO) 。 
"New" Æ "Nonblocking"? 


NIO 最 初 是 为 New Input/Output 的 缩写 。 然 而 ，Java 的 API 已 经 存在 足够 长 的 时 间 ， 它 不 再 
是 新 的 。 现 在 普遍 使 用 的 缩写 来 表示 Nonblocking WO ( 非 阻塞 //O)。 另 一 方面 ， 一 般 ( 包括 作 
者 ) 指 阻塞 //O 为 OIO 或 Old Input/Output。 你 也 可 能 会 遇 到 普通 WO 。 


我 们 已 经 展示 了 在 Java 的 WO 阻塞 一 例 例子 。 图 1.1 展示 了 方法 必须 扩大 到 处 理 多 个 连接 : 
给 每 个 连接 创建 一 个 线程 ， 有 些 连 接 是 空闲 的 ! 显然， 这 种 方法 的 可 扩展 性 将 是 受 限 于 可 以 
在 JVM 中 创建 的 线程 数 。 


Figure 1.1 Blocking I/O 


当 你 的 应 用 中 连接 数 比 较 少 ， 这 个 方案 还 是 可 以 接受 。 当 并 发 连接 超过 10000 Hf > context- 
switching (上 正文 切换 ) 开销 将 是 明显 的 。 此 外 ， 每 个 线程 都 有 一 个 默认 的 堆栈 内 存 分 配 了 
128K 和 1M 之 间 的 空间 。 考 虑 到 整体 的 内 存 和 操作 系统 需要 处 理 100000 个 或 更 多 的 并 发 连 
接 资 源 ， 这 似乎 是 一 个 不 理想 的 解决 方案 。 





SELECTOR 


相 比 之 下 ， 图 1.2 显示 了 使 用 非 阻塞 |/O， 主 要 是 消除 了 这 些 方法 约束 。 在 这 里 ， 我 们 介绍 
了 “Selector”， 这 是 Java 的 无 阻塞 VO 实现 的 关键 。 


Figure 1.2 Nonblocking I/O 
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Selector 最 终 决定 哪 一 组 注册 的 socket 准备 执行 /OQ。 正 如 我 们 之 前 所 解释 的 那样 ， 这 J/O 操 
作 设 置 为 非 阻塞 模式 。 通 过 通知 ， 一 个 线程 可 以 同时 处 理 多 个 并 发 连接 。 (一 个 Selector 由 
一 个 线程 通常 处 理 ， 但 具体 实施 可 以 使 用 多 个 线程 。) 因此 ， 每 次 读 或 写 操作 执行 能 立即 检 
查 完成 。 总 体 而 言 ， 该 模型 提供 了 比 阻塞 |/O 模型 更 好 的 资源 使 用 ， 因 为 





e 可 以 用 较 少 的 线程 处 理 更 多 连接 ， 这 意味 着 更 少 的 开销 在 内 存 和 上 下 文 切换 上 
e 当 没 有 1/O 处 理 时 ， 线 程 可 以 被 重 定向 到 其 他 任务 上 。 


你 可 以 直接 用 这 些 Java API 构建 的 NIO 建立 你 的 应 用 程序 ， 但 这 样 做 正确 和 安全 是 无 法 保 
证 的 。 实 现 可 靠 和 可 扩展 的 event-processing (事件 处 理 器 ) 来 处 理 和 调度 数据 并 保证 尽 可 能 
有 效 地 ， 这 是 一 个 繁琐 和 容易 出 错 的 任务 ， 最 好 留 给 专家 - Netty 。 


Netty 介绍 


一 个 应 用 想 要 支持 成 千 上 万 并 发 的 客户 端 ， 在 以 前 ， 这 样 的 想法 会 被 认为 是 芒 课 。 而 在 今 
天 ， 我 们 认为 这 是 理所当然 的 。 事 实 上 ， 开 发 者 知道 ， 总 是 会 有 这 样 的 需求 一 以 较 低 的 成 
本 交付 来 换取 更 大 的 吞吐 量 和 可 用 性 。 





我 们 不 要 低估 最 后 一 点 的 重要 性 。 我 们 从 漫长 的 痛苦 的 经 验 学 习 到 ， 低 级 别 的 API 不 仅 暴露 
了 高 级 别 直 接 使 用 的 复杂 性 ， 而 且 引 入 了 过 分 依赖 于 这 项 技术 所 造成 的 短 板 。 因 此 ， 面 向 对 
象 的 一 个 基本 原则 : 通过 抽象 来 隐藏 背后 的 复杂 性 。 


这 一 原则 已 见 成 效 ， 框 架 的 形式 封装 解决 方案 成 为 了 常见 的 编程 任务 ， 他 们 中 有 许多 典型 的 
分 布 式 系 统 。 现 在 大 多 数 专 业 的 Java 开发 人 员 都 熟悉 一 个 或 多 个 这 些 框架 (比如 Spring) ， 
并 且 许 多 已 成 为 不 可 或 缺 的 ， 使 他 们 能 够 满足 他 们 的 技术 要 求 以 及 他 们 的 计划 。 


谁 在 用 Netty 


Netty 是 一 个 广泛 使 用 的 Java 网 络 编程 框架 (Netty 在 2011 年 获得 了 Duke's Choice 
Award， 见 https:/www.java.net/dukeschoice/2011) 。 它 活跃 和 成 长 于 用 户 社区 ， 像 大 型 公 
#] Facebook 和 Instagram 以 及 流行 开源 项 目 如 Infinispan, HornetQ, Vert.x, Apache 
Cassandra 和 Elasticsearch 等 ， 都 利用 其 强大 的 对 于 网 络 抽象 的 核心 代码 。 


反 过 来 ，Netty 也 从 这 些 开 源 项 目 中 获 益 。 随 着 这 些 项 目的 作用 ，Netty 也 不 断 提高 了 其 应 用 
的 范围 和 灵活 性 ， 比 如 已 经 实现 了 的 协议 就 有 FTP, SMTP, HTTP, WebSocket 和 SPDY 以 及 
其 他 二 进 制 和 基于 文本 的 协议 。 


在 初创 公司 中 Firebase 和 Urban Airship 在 使 用 Netty。 前 者 Firebase 是 使 用 long-lived 
HTTP 连接 ， 后 者 是 使 用 各 种 推送 通知 。 


当 你 使 用 Twitter, 你 会 使 用 Finagle, 这 个 是 基于 Netty API 提供 给 内 部 系统 通讯 。Facebook 使 
用 Netty 来 提供 于 Nifty 类 似 的 功能 Apache Thrift 服务 。 这 些 公司 可 扩展 性 和 高 性 能 的 表现 得 
益 于 Netty 的 贡献 。 


这 些 例子 的 丨 实 案例 会 在 后 面 几 童 讲 到 。 


2011 年 Netty 项 目 从 Red Hat 独立 开 来 从 而 让 广泛 的 开发 者 社区 贡献 者 参与 进来 。Red Hat 
> Twitter 继续 使 用 Netty ,并 且 成 为 保持 其 最 活跃 的 贡献 者 之 一 。 


下 面 展示 了 Netty 技术 和 方法 的 特点 


。 设计 
o 针对 多 种 传输 类 型 的 统一 接口 - 阻塞 和 非 阻塞 
o 简单 但 更 强大 的 线程 模型 


o HIE RERMREREEF LR 
o 链接 逻辑 支持 复 用 
e 易 用 性 
o 大 量 的 Javadoc 和 代码 实例 
o 除了 在 JDK 1.6 + 额外 的 限制 。 (一 些 特征 是 只 支持 在 Java 1.7 +。 可 选 的 功能 可 能 
有 额外 的 限制 。) 
e. 性 能 
o 比 核心 Java AP| 更 好 的 吞吐 量 ， 较 低 的 延 时 
o 资源 消耗 更 少 ， 这 个 得 益 于 共享 池 和 重用 
o 减少 内 存 拷贝 
。 健壮 性 
o 消除 由 于 慢 ， 快 ， 或 重 载 连 接 产生 的 OutOfMemoryError 


o 完整 的 SSL/TLS 和 StartTLS 的 支持 
o 运行 在 受 限 的 环境 例如 Applet 或 OSGI 


o 发 布 的 更 早 和 更 频繁 
o 社区 驱动 


异步 和 事件 驱动 


所 有 的 网 络 应 用 程序 需要 被 设计 为 可 扩展 性 ， 可 以 被 界定 为 “一 个 系统 ， 网 络 能 力 ， 或 过 程 中 
能 够 处 理 越 来 越 多 的 工作 方式 或 可 扩大 到 容纳 增长 的 能 力 ”( 见 Bondi, André B. (2000). 
"Characteristics of scalability and their impact on performance") 。 我 们 已 经 说 过 ，Netty # 
助 您 利用 非 阻塞 VO 完成 这 一 目标 ， 通 常 称 为 “异步 |/O” 


我 们 将 使 用 “异步 "和 其 同 源 词 在 这 本 书 中 大 量 的 使 用 ， 所 以 这 是 介绍 他 们 的 一 个 很 好 的 时 候 。 
异步 ， 即 非 同步 事件 ， 当 然 是 跟 你 日 常生 活 的 类 似 。 例 如 ， 您 可 以 发 送 电子 邮件 ; 可 能 得 到 
或 者 得 不 到 任何 回应 ， 或 者 当 你 发 送 一 个 您 可 能 会 收 到 一 个 消息 。 异 步 事 件 也 可 以 有 一 个 有 
序 的 关系 。 例 如 ， 你 通常 不 会 收 到 一 个 问题 的 答案 直到 提出 一 个 问题 ， 但 是 你 并 没有 阻止 同 
时 一 些 其 他 的 东西 。 

在 日 常生 活 中 异步 就 这 样 发 生 了 ， 所 以 我 们 不 会 经 常 想到 。 但 让 计算 机 程序 的 工作 方式 ， 来 
实现 我 们 提出 了 的 特殊 的 问题 ， 会 有 一 点 复杂 。 在 本 质 上 ， 一 个 系统 是 异步 和 “事件 驱动 "将 会 
表现 出 一 个 特定 的 ， 对 我 们 来 说 ， 有 价值 的 行为 : 它 可 以 响应 在 任何 时 间 以 任何 顺序 发 生 的 
事件 。 


这 是 我 们 要 建立 一 种 制度 ， 正 如 我 们 将 会 看 和 到， 这 是 典范 的 Netty 自 底 向 上 的 支持 。 


Netty 介绍 


构成 部 分 
正如 我 们 前 面 解 释 的 ， 非 阻塞 VO 不 会 强迫 我 们 等 待 操 作 的 完成 。 在 这 种 能 力 的 基础 上 ， 趴 正 
的 异步 VO 起 到 了 更 进一步 的 作用 :一 个 异步 方法 完成 时 立即 返回 并 直接 或 稍 后 通知 用 户 。 

正如 我 们 将 看 到 的 ,在 一 个 网 络 环境 的 异步 模型 可 以 更 有 效 地 利用 资源 ,可 以 快速 连续 执行 多 个 


调用 。 


Channel 


Channel 是 NIO 基本 的 结构 。 它 代表 了 一 个 用 于 连接 到 实体 如 硬件 设备 、 文 件 、 网 络 套 接 字 
或 程序 组 件 ,能 够 执行 一 个 或 多 个 不 同 的 1/O 操作 (例如 读 或 写 ) 的 开放 连接 。 


现在 ,把 Channel 想象 成 一 个 可 以 “打开 ?或 “关闭 " "连接 "或 “ 断 开 ?和 作为 传 入 和 传 出 数据 的 运输 
工具 。 


Callback (+) 


callback (回调 ) 是 一 个 简单 的 方法 ,提供 给 另 一 种 方法 作为 引用 ,这 样 后 者 就 可 以 在 某 个 合 迁 的 
时 间 调用 前 者 。 这 种 技术 被 广泛 使 用 在 各 种 编程 的 情况 下 ,最 常见 的 方法 之 一 通知 给 其 他 人 操 
作 已 完成 。 


Netty 内 部 使 用 回调 处 理事 件 时 。 一 旦 这 样 的 回调 被 触发 ， 事 件 可 以 由 接口 ChannelHandler 
的 实现 来 处 理 。 如 下 面 的 代码 ， 一 旦 一 个 新 的 连接 建立 了 ,调用 channelActive(), 并 将 打印 一 条 
消息 。 


Listing 1.2 ChannelHandler triggered by a callback 


public class ConnectHandler extends ChannelInboundHandlerAdapter { 
@Override 
public void channelActive(ChannelHandlerContext ctx) throws Exception { //1 
System.out.println( 
"Client " + ctx.channel().remoteAddress() + " connected"); 


1. 当 建立 一 个 新 的 连接 时 调用 ChannelActive() 


Future 


Future 提供 了 另外 一 种 通知 应 用 操作 已 经 完成 的 方式 。 这 个 对 人 象 作 为 一 个 异步 操作 结果 的 占 
位 符 , 它 将 在 将 来 的 某 个 时 候 完成 并 提供 结果 。 


JDK 附带 接口 java.util.concurrent.Future ,但 所 提供 的 实现 只 允许 您 手动 检查 操作 是 否 完 成 或 
阻塞 了 。 这 是 很 麻烦 的 ， 所 以 Netty 提供 自己 了 的 实现 ,ChannelFuture, 用 于 在 执行 异步 操作 
时 使 用 。 


ChannelFuture 提供 多 个 附件 方法 来 允许 一 个 或 者 多 个 ChannelFutureListener 实例 。 这 个 回 
调 方法 operationComplete() 会 在 操作 完成 时 调用 。 事 件 监听 者 能 够 确认 这 个 操作 是 否 成 功 或 
者 是 错误 。 如 果 是 后 者 ,我 们 可 以 检索 到 产生 的 Throwable。 简 而 言 之 ， 
ChannelFutureListener 提供 的 通知 机 制 不 需要 手动 检查 操作 是 否 完成 的 。 


每 个 Netty 的 outbound I/O 操作 都 会 返回 一 个 ChannelFuture; 这 样 就 不 会 阻塞 。 这 就 是 
Netty 所 谓 的 “ 自 底 向 上 的 异步 和 事件 驱动 "。 


下 面 例子 简单 的 演示 了 作为 VO 操作 的 一 部 分 ChannelFuture 的 返回 。 当 调用 connect) 将 会 
直接 是 非 阻塞 的 ， 并 且 调 用 在 背后 完成 。 由 于 线程 是 非 阻塞 的 ， 所 以 无 需 等 待 操作 完成 ， 而 
可 以 去 干 其 他 事 ， 因 此 这 令 资 源 利 用 更 高 效 。 


Listing 1.3 Callback in action 


Channel channel = ...; 
// 不 会 阻塞 
ChannelFuture future = channel.connect( 
new InetSocketAddress("192.168.0.1", 25)); 


1. 异 步 连接 到 远程 地 址 


下 面 代码 描述 了 如 何 利 用 ChannelFutureListener 。 首 先 ， 连 接 到 远程 地 址 。 接 着 ， 通 过 
ChannelFuture 调用 connect() 来 注册 一 个 新 ChannelFutureListener。 当 监听 器 被 通知 连接 
完成 ， 我 们 检查 状态 。 如 果 是 成 功 ， 就 写 数据 到 Channel? FIRII% ChannelFuture 中 
的 Throwable。 


注意 ， 错 误 的 处 理 取决 于 你 的 项 目 。 当 然 ,特定 的 错误 是 需要 加 以 约束 的 。 例 如 ,在 连接 失败 的 
情况 下 你 可 以 尝试 连接 到 另 一 个 。 


Listing 1.4 Callback in action 


Channel channel = ...; 

// 不 会 阻塞 

ChannelFuture future = channel.connect( //1 
new InetSocketAddress("192.168.0.1", 25)); 

future.addListener(new ChannelFutureListener() { //2 

@Override 

public void operationComplete(ChannelFuture future) { 

if (future.isSuccess()) ( //3 
ByteBuf buffer - Unpooled.copiedBuffer( 
"Hello", Charset.defaultCharset()); //4 


ChannelFuture wf = future.channel().writeAndFlush(buffer); //5 
WE 00 
) else { 
Throwable cause - future.cause(); //6 
cause. printStackTrace(); 
H 
} 
}); 


1. 异 步 连接 到 远程 对 等 节点 。 调 用 立即 返回 并 提供 ChannelFuture 。 
2. 操 作 完 成 后 通知 注册 一 个 ChannelFutureListener ° 

3. 4 operationComplete() 调用 时 检查 操作 的 状态 。 

4. 如 果 成 功 就 创建 一 个 ByteBuf 来 保存 数据 。 

5. 异 步 发 送 数据 到 远程 。 再 次 返回 ChannelFuture。 


6. 如 果 有 一 个 错误 则 抛 出 Throwable, ,描述 错误 原因 。 


Event 和 Handler 


Netty 使 用 不 同 的 事件 来 通知 我 们 更 改 的 状态 或 操作 的 状态 。 这 使 我 们 能 够 根据 发 生 的 事件 能 
发 适当 的 行为 。 


e 
IS 
er 


o 数据 转换 
e 流 控 制 


e 应 用 程序 逻辑 
由 于 Netty 是 一 个 网 络 框 架 ,事件 很 清晰 的 跟 入 站 或 出 站 数据 流 相关 。 因 为 一 些 事 件 可 能 触发 
传 入 的 数据 或 状态 的 变化 包括 : 

。 活动 或 非 活动 连接 

e 数据 的 读 取 


e 用 户 事件 


。 错误 
出 站 事件 是 由 于 在 未 来 操作 将 触发 一 个 动作 。 这 些 包 括 : 


e 打开 或 关闭 一 个 连接 到 远程 
e 写 或 冲刷 数据 到 socket 


每 个 事件 都 可 以 分 配给 用 户 实现 处 理 程序 类 的 方法 。 这 说 明了 事件 驱动 的 范例 可 直接 转换 为 
应 用 程序 构建 块 。 


图 1.3 显 示 了 一 个 事件 可 以 由 一 连 串 的 事件 处 理 器 来 处 理 


Figure 1.3 Event Flow 











Inbound IM. Inbound +— 
Event Handler ii Event a 





Netty 的 ChannelHandler 4 4# 4b 32 425 89 Jk Add Roo MAP APAHSLK MET 
调 ， 用 于 执行 对 各 种 事件 的 响应 。 


在 此 基础 之 上 ，Netty 也 提供 了 一 组 丰富 的 预定 义 的 处 理 程序 ,您 可 以 开 箱 即 用 。 比 如 ， 各 种 协 
议 的 编 解码 器 包括 HTTP 和 SSL/TLS。 在 内 部 ,ChannelHandler 使 用 事件 和 future 本 身 ,创建 
具有 Netty 特性 抽象 的 消费 者 。 


整合 


FUTURE, CALLBACK 和 HANDLER 


Netty 的 异步 编程 模型 是 建立 在 future 和 callback 的 概念 上 的 。 所 有 这 些 元 素 的 协同 为 自己 的 
设计 提供 了 强大 的 力量 。 

拦截 操作 和 转换 入 站 或 出 站 数据 只 需要 您 提供 回调 或 利用 future 操作 返回 的 。 这 使 得 链 操 作 
简单 、 高 效 ,促进 编写 可 重用 的 、 通 用 的 代码 。 一 个 Netty 的 设计 的 主要 目标 是 促进 “关注 点 分 
By” 你 的 业务 逻辑 从 网 络 基 础 设施 应 用 程序 中 分 离 。 


SELECTOR, EVENT 和 EVENT LOOP 


Netty 通过 触发 事件 从 应 用 程序 中 抽象 出 Selector， 从 而 避免 手写 调度 代码 。EventLoop 分 配 
给 每 个 Channel 来 处 理 所 有 的 事件 ， 包 括 


e 注册 感 兴 趣 的 事件 

e 调度 事件 到 ChannelHandler 

e 安排 进一步 行动 
该 EventLoop 本 身 是 由 只 有 一 个 线程 驱动 ， 它 给 一 个 Channel 处 理 所 有 的 IO 事件 ， 并 且 在 
EventLoop 的 生命 周期 内 不 会 改变 。 这 个 简单 而 强大 的 线程 模型 消除 你 可 能 对 你 的 
ChannelHandler 同步 的 任何 关注 ， 这 样 你 就 可 以 专注 于 提供 正确 的 回调 逻辑 来 执行 。 该 API 
是 简单 和 紧凑 。 


关于 本 书 


我 们 开始 通过 讨论 阻塞 和 非 阻 塞 处 理 之 间 的 差异 来 了 解 到 后 一 种 方法 的 优点 。 然 后 ， 我 们 转 
移 到 了 的 Netty 的 功能 ， 设 计 和 效益 的 概述 。 这 些 包括 了 Netty 的 异步 模型 ， 包 括 回调 ，future 
及 其 组 合 使 用 。 我 们 还 谈 到 了 Netty 的 线程 模型 ， 事 件 是 如 何 被 使 用 的 ， 以 及 它们 如 何 被 拦截 
和 处 理 。 展 望 未 来 ， 我 们 将 更 加 深入 探索 如 何 使 用 这 些 丰富 的 工具 集 用 来 满足 特殊 需求 的 应 
He 


一 路 上 ， 我 们 将 介绍 公司 的 工程 师 自己 的 案例 研究 解释 为 什么 他 们 选择 的 Netty 以 及 他 们 如 何 
使 用 它 。 

因此 ， 让 我 们 开始 吧 。 在 下 一 章 中 ， 我 们 将 深入 研究 了 Netty 的 API 的 基础 知识 ， 编 程 模 

型 ， 开 始 写 echo (回声 ) 服务 器 和 客户 端 。 


第 一 个 Netty 应 用 


在 本 章 中 ， 首 先 你 要 确保 你 有 一 个 可 以 工作 的 开发 环境 ， 并 通过 构建 一 个 简单 的 客户 端 和 服 
务 器 来 进行 测试 。 虽 然 在 开始 下 一 章节 前 ， 我 们 还 不 会 开始 学 习 的 Netty 框架 的 细节 ， 但 在 这 
里 我 们 将 会 仔细 观察 我 们 所 引入 的 API 方面 的 内 容 ， 即 通过 ChannelHandler 来 实现 应 用 的 
逻辑 。 


yt x 立 

设置 开发 环境 

如 果 你 已 经 有 了 Maven 的 开发 环境 ， 那 你 可 以 跳 过 本 节 。 
本 书 例子 需要 JDK 和 Apache Maven, 都 可 以 免费 下 载 到 。 
1. 安 装配 置 JDK 

建议 用 JDK 7+ 

2. 下 载 IDE 


JAVA 的 IDE 很多， 主流 的 有 


e Eclipse: http://www.eclipse.org 
e NetBeans: http://www.netbeans.org 
e Intellij Idea Community Edition: http://www.jetbrains.com 


3. F RXR Maven 


可 以 参考 : http://www.waylau.com/apache-maven-3-1-0-installation-deployment-and-use/ 


4. 配 置 工具 


确保 系统 环境 变量 有 JAVA HOME 和 M2 HOME 


Netty 客户 端 /服务 器 总 览 


在 本 节 中 ， 我 们 将 构建 一 个 完整 的 的 Netty 客 户 端 和 服务 器 。 虽 然 你 可 能 集中 在 写 客户 端 是 济 
览 器 的 基于 Web 的 服务 ， 接 下 来 你 将 会 获得 更 完整 了 解 Netty 的 API 是 如 何 实现 客户 端 和 服 
器 的 。 


E 


SA 


Figure 2.1.Echo client / server 


Server 








图 中 显示 了 连接 到 服务 器 的 多 个 并 发 的 客户 端 。 在 理论 上 ， 客 户 端 可 以 支持 的 连接 数 只 受 限 
于 使 用 的 JDK 版 本 中 的 制约 。 

echo (回声 ) 客户 端 和 服务 器 之 间 的 交互 是 很 简单 的 ;客户 端 启动 后 ， 建 立 一 个 连接 发 送 一 个 
或 多 个 消息 发 送 到 服务 器 ， 其 中 每 相 呼应 消息 返 w dioi n d 
常 有 用 。 但 这 DEITHINTRHSSAuLE- 响应 交互 本 身 ， 这 是 一 个 基本 的 模式 的 客户 端 
服务 器 系统 。 


我 们 将 通过 检查 服务 器 端 代码 开始 。 
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写 一 个 echo 服务 器 


Netty 实现 的 echo 服务 器 都 需要 下 面 这 些 : 


e 一 个 服务 器 handler : 这 个 组 件 实现 了 服务 器 的 业务 逻辑 ， 决 定 了 连接 创建 后 和 接收 到 信 
息 后 该 如 何 处 理 

e Bootstrapping: 这 个 是 配置 服务 器 的 启动 代码 。 最 少 需要 设置 服务 器 绑 定 的 端口 ， 用 来 
监听 连接 请 求 。 


通过 ChannelHandler 来 实现 服务 器 的 逻辑 


Echo Server 将 会 将 接受 到 的 数据 的 拷贝 发 送 给 客户 端 ? 因此 ， 我 们 需要 实现 
ChannellnboundHandler 接口 ， 用 来 定义 处 理 入 站 事件 的 方法 。 由 于 我 们 的 应 用 很 简单 ， 只 
需要 继承 ChannellnboundHandlerAdapter 就 行 了 。 这 个 类 提供 了 默认 
ChannellnboundHandler 的 实现 ， 所 以 只 需要 履 盖 下 面 的 方法 : 


e channelRead() - 每 个 信息 入 站 都 会 调用 

e channelReadComplete() - 通知 处 理 器 最 后 的 channelRead() 是 当前 批 处 理 中 的 最 后 一 条 
消息 时 调用 

e exceptionCaught()- 读 操作 时 捕获 到 异常 时 调用 


EchoServerHandler 代码 如 下 : 


Listing 2.2 EchoServerHandler 


@Sharable //1 
public class EchoServerHandler extends 
ChannelInboundHandlerAdapter { 


@Override 
public void channelRead(ChannelHandlerContext ctx, 

Object msg) { 

ByteBuf in = (ByteBuf) msg; 

System.out.println("Server received: " + in.toString(CharsetUtil.UTF 8)); 
//2 

ctx.write(in); //3 


@Override 

public void channelReadComplete(ChannelHandlerContext ctx) throws Exception { 
ctx.writeAndFlush(Unpooled.EMPTY BUFFER)//4 
.addListener(ChannelFutureListener.CLOSE); 


@Override 

public void exceptionCaught(ChannelHandlerContext ctx, 
Throwable cause) { 
cause.printStackTrace(); //5 
ctx.close(); //6 


1. @Sharable 标识 这 类 的 实例 之 问 可 以 在 channel € d$ X 
2. 日 志 消 息 输出 到 控制 台 

3. 将 所 接收 的 消息 返回 给 发 送 者 。 注 意 ， 这 还 没有 冲刷 数据 
4. 冲 刷 所 有 待 审 消息 到 远程 节点 。 关 闭 通道 后 ， 操 作 完 成 
5. 打 印 异 常 堆栈 跟踪 


6. 关 闭 通 道 


这 种 使 用 ChannelHandler 的 方式 体现 了 关注 点 分 离 的 设计 原则 ， 并 简化 业务 逻辑 的 迭代 开发 
的 要 求 。 处 理 程序 很 简单 ; 它 的 每 一 个 方法 可 以 履 盖 到 “hook (45) "在 活动 周期 适当 的 点 。 
REA > RNA channelRead 因 为 我 们 需要 处 理 所 有 接收 到 的 数据 。 


# & exceptionCaught 使 我 们 能 够 应 对 任何 Throwable 的 子 类 型 。 在 这 种 情况 下 我 们 记录 ， 
并 关闭 所 有 可 能 处 于 未 知 状态 的 连接 。 它 通常 是 难以 从 连接 错误 中 恢复 ， 所 以 干脆 关闭 远程 
连接 。 当 然 ， 也 有 可 能 的 情况 是 可 以 从 错误 中 恢复 的 ， 所 以 可 以 用 一 个 更 复杂 的 措施 来 尝试 
识别 和 处 理 这 样 的 情况 。 


如 果 蜡 常 没有 被 捕获 ， 会 发 生 什 么 ? 


每 个 Channel 都 有 一 个 关联 的 ChannelPipeline， 它 代表 了 ChannelHandler 实例 的 链 。 适 配 
器 处 理 的 实现 只 是 将 一 个 处 理 方法 调用 转发 到 链 中 的 下 一 个 处 理 器 。 因 此 ， 如 果 一 个 Netty 应 

用 程序 不 覆盖 exceptionCaught， 那 么 这 些 错 误 将 最 终 到 达 ChannelPipeline， 并 且 结 束 警 告 

将 被 记录 。 出 于 这 个 原因 ， 你 应 该 提供 至 少 一 个 实现 exceptionCaught 的 ChannelHandler » 


关键 点 要 牢记 : 

e ChannelHandler 是 给 不 同类 型 的 事件 调用 

e 应 用 程序 实现 或 扩展 ChannelHandler 4€ 4 4) 3E fF A 4» 5] 94 de 42 A E 3L EL E 3E. o 
引导 服务 器 
了 解 到 业务 核心 处 理 逻 辑 EchoServerHandler 后 ， 下 面 要 引导 服务 器 自身 了 。 


监听 和 接收 进来 的 连接 请 求 
e 配置 Channel 来 通知 一 个 关于 入 站 消息 的 EchoServerHandler 实例 


Transport( 传 输 ) 


在 本 节 中 ， 你 会 遇 到 和 ansport( 传 输 ) "一 词 。 在 网 络 的 多 层 视图 协议 里 面 ， 传 输 层 提供 了 用 
于 端 至 端 或 主机 到 主机 的 通信 服务 。 互 联网 通信 的 基础 是 TCP 传输 。 当 我 们 使 用 术语 “NIO 
transport" 我 们 指 的 是 一 个 传输 的 实现 ， 它 是 大 多 等 同 于 TCP ， 除 了 一 些 由 Java NIO 的 实现 
提供 了 服务 器 端的 性 能 增强 。Transport 详细 在 第 4 章 中 讨论 。 


Listing 2.3 EchoServer 


public class EchoServer { 
private final int port; 


public EchoServer(int port) { 
this.port = port; 


i 
public static void main(String[] args) throws Exception { 
if (args.length != 1) { 
System.err.printin( 
"Usage: " + EchoServer.class.getSimpleName() + 
" <port>"); 
return; 
} 
int port = Integer.parseInt(args[0]); //1 
new EchoServer(port).start(); //2 
} 


public void start() throws Exception { 
NioEventLoopGroup group = new NioEventLoopGroup(); //3 


try { 
ServerBootstrap b = new ServerBootstrap(); 
b.group(group) //4 
.channel(NioServerSocketChannel.class) //5 


.localAddress(new InetSocketAddress(port)) //6 
.childHandler(new ChannelInitializer<SocketChannel>() { //7 
@Override 
public void initChannel(SocketChannel ch) 
throws Exception { 
ch.pipeline().addLast( 
new EchoServerHandler()); 


3); 


ChannelFuture f - b.bind().sync(); //8 
System.out.println(EchoServer.class.getName() + " started and listen on " 


+ f.channel().localAddress()); 


f.channel().closeFuture().sync(); //9 
} finally { 
group.shutdownGracefully().sync(); //10 


1. 设 置 端口 值 ( 抛 出 一 个 NumberFormatException 如 果 该 端口 参数 的 格式 不 正确 ) 
2. 呼 叫 服务 器 的 start() 方法 


3. 创 建 EventLoopGroup 


4.43 ServerBootstrap 

5. 指 定 使 用 NIO 的 传输 Channel 

6. 设 置 socket 地 址 使 用 所 选 的 端口 

7. 添 加 EchoServerHandler 到 Channel 的 ChannelPipeline 
8. 绑 定 的 服务 器 ;sync 等 待 服务 器 关闭 

9. 关 闭 channel 和 块 ， 直 到 它 被 关闭 

10. 关 闭 EventLoopGroup > ## 2 PT A RR © 


在 这 个 例子 中 ， 代 码 创 建 ServerBootstrap 实例 (步骤 4) 。 由 于 我 们 使 用 在 NIO 传输 ， 我 们 
已 指定 NioEventLoopGroup (3) 接受 和 处 理 新 连接 ， 指 定 NioServerSocketChannel (5) 
为 信道 类 型 。 在 此 之 后 ， 我 们 设置 本 地 地 址 是 InetSocketAddress 与 所 选择 的 端口 (6) 如 。 
服务 器 将 绑 定 到 此 地 址 来 监听 新 的 连接 请 求 。 


第 7 步 是 关键 : 在 这 里 我 们 使 用 一 个 特殊 的 类 ，Channellnitializer 。 当 一 个 新 的 连接 被 接受 ， 
一 个 新 的 子 Channel 将 被 创建 ，Channellnitializer 会 添加 我 们 EchoServerHandler 的 实例 到 
Channel 的 ChannelPipeline。 正 如 我 们 如 前 所 述 ， 如 果 有 入 站 信息 ， 这 个 处 理 器 将 被 通知 。 


虽然 NIO 是 可 扩展 性 ， 但 它 的 正确 配置 是 不 简单 的 。 特 别 是 多 线程 ， 要 正确 处 理 也 非 易 事 。 
幸运 的 是 ，Netty 的 设计 封装 了 大 部 分 复杂 性 ， 尤 其 是 通过 抽象 ， 例 如 EventLoopGroup * 
SocketChannel 和 Channellnitializer， 其 中 每 一 个 将 在 更 详细 地 在 第 3 章 中 讨论 。 


在 步骤 8， 我 们 绑 定 的 服务 器 ， 等 待 绑 定 完成 。 (调用 sync() 的 原因 是 当前 线程 阻塞 ) 在 第 9 
步 的 应 用 程序 将 等 待 服务 器 Channel 关闭 (因为 我 们 在 Channel 的 CloseFuture 上 调用 

sync()) 。 现 在 ， 我 们 可 以 关闭 下 EventLoopGroup 并 释放 所 有 资源 ， 包 括 所 有 创建 的 线程 
(10) 。 


NIO 用 于 在 本 实施 例 ， 因 为 它 是 目前 最 广泛 使 用 的 传输 ， 归 功 于 它 的 可 扩展 性 和 彻底 的 不 同 
步 。 但 不 同 的 传输 的 实现 是 也 是 可 能 的 。 例 如 ， 如 果 本 实施 例 中 使 用 的 OIO 传输 ， 我 们 将 指 


定 OioServerSocketChannel 和 OioEventLoopGroup ° Netty 的 架构 ， 包 括 更 关于 传输 信 
息 ， 将 包含 在 第 4 章 。 在 此 期 间 ， 让 我 们 回顾 下 在 服务 器 上 执行 ， 我 们 只 研究 重要 步骤 。 


服务 器 的 主 代码 组 件 是 


e EchoServerHandler 实现 了 的 业务 逻辑 
e 在 main() 方 法 ， 引导 了 服务 器 


执行 后 者 所 需 的 步骤 是 : 


e 创建 ServerBootstrap 实例 来 引导 服务 器 并 随后 绑 定 
。 创建 并 分 配 一 个 NioEventLoopGroup 实例 来 处 理事 件 的 处 理 ， 如 接受 新 的 连接 和 读 / 写 数 
据 。 


e 指定 本 地 InetSocketAddress 给 服务 器 绑 定 
e 通过 EchoServerHandler 实例 给 每 一 个 新 的 Channel 初始 化 
e 最 后 调用 ServerBootstrap.bind() 绑 定 服务 器 


这 样 服务 器 初始 化 完成 ， 可 以 被 使 用 了 。 


e 发 送信 息 
e 发 送 的 每 个 信息 ， 等 待 和 接收 从 服务 器 返回 的 同样 的 信息 
e 关闭 连接 
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跟 写 服务 器 一 样 ， 我 们 提供 ChannellnboundHandler 来 处 理 数据 。 下 面 例子 ， 我 们 用 
SimpleChannellnboundHandler 来 处 理 所 有 的 任务 ， 需 要 履 盖 三 个 方法 : 


e channelActive() - 服务 器 的 连接 被 建立 后 调用 
e channelReadO() - 数据 后 从 服务 器 接收 到 调用 
e exceptionCaught() - 捕获 一 个 异常 时 调用 


Listing 2.4 ChannelHandler for the client 


@Sharable 7/1 
public class EchoClientHandler extends 
SimpleChannelInboundHandler<ByteBuf> { 


@Override 
public void channelActive(ChannelHandlerContext ctx) { 
ctx.writeAndFlush(Unpooled.copiedBuffer("Netty rocks!", //2 


CharsetUtil.UTF_8)); 


@Override 
public void channelReadO(ChannelHandlerContext ctx, 


ByteBuf in) { 
System.out.println("Client received: " + in.toString(CharsetUtil.UTF 8)); 


/3 

} 

@Override 

public void exceptionCaught(ChannelHandlerContext ctx, 
Throwable cause) { //4 
cause. printStackTrace(); 
ctx.close(); 

} 


1. @Sharable 标记 这 个 类 的 实例 可 以 在 channel 里 共享 


2. 当 被 通知 该 channel 是 活动 的 时 候 就 发 送信 息 
3. 记 录 接 收 到 的 消息 
4. 记 录 日 志 错 误 并 关闭 channel 


建立 连接 后 该 channelActive() 方法 被 调用 一 次 。 人 逻辑 很 简单 : 一 旦 建立 了 连接 ， 字 节 序 列 被 
发 送 到 服务 器 。 该 消息 的 内 容 并 不 重要 ;在 这 里 ， 我 们 使 用 了 Netty 编码 字符 串 “Netty rocks!” 
通过 履 盖 这 种 方法 ， 我 们 确保 东西 被 尽快 写 入 到 服务 器 。 


接 下 来 ， 我 们 履 盖 方法 channelRead0()。 这 种 方法 会 在 接收 到 数据 时 被 调用 。 注 意 ， 由 服务 
器 所 发 送 的 消息 可 以 以 块 的 形式 被 接收 。 即 ， 当 服务 器 发 送 5 个 字 节 是 不 是 保证 所 有 的 5 个 
字 节 会 立刻 收 到 - 即使 是 只 有 5 个 字 节 ，channelRead0() 方法 可 被 调用 两 次 ， 第 一 次 用 一 个 
ByteBuf (Netty 的 字 节 容器 ) 装载 3 个 字 节 和 第 二 次 一 个 ByteBuf 装载 2 个 字 节 。 唯 一 要 保证 
的 是 ， 该 字 节 将 按照 它们 发 送 的 顺序 分 别 被 接收 。 (注意 ， 这 是 趴 实 的 ， 只 有 面向 流 的 协议 
如 TCP) 。 


第 三 个 方法 重 写 是 exceptionCaught()。 正 如 在 EchoServerHandler (清单 2.2) ， 所 述 的 记 
录 Throwable 并 且 关 闭 通道 ， 在 这 种 情况 下 终止 连接 到 服务 器 。 


SimpleChannellnboundHandler vs. ChannellnboundHandler 


何 时 用 这 两 个 要 看 具体 业务 的 需要 。 在 客户 端 ， 当 channelRead0() 完成 ， 我 们 已 经 拿 到 的 入 
站 的 信息 。 当 方法 返回 时 ，SimpleChannelInbounqdHandler 会 小 心 的 释放 对 ByteBuf (保存 
信息 ) 的 引用 。 而 在 EchoServerHandler 我 们 需要 将 入 站 的 信息 返回 给 发 送 者 ， 由 于 write() 
是 异步 的 ， 在 channelRead() 返回 时 ， 可 能 还 没有 完成 。 所 以 ， 我 们 使 用 
ChannellnboundHandlerAdapter, 无需 释放 信息 。 最 后 在 channelReadComplete() 我 们 调用 
ctxWriteAndFlush() 来 释放 信息 。 详 见 第 5、6 章 
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客户 端 引导 需要 host ` port 两 个 参数 连接 服务 器 。 


Listing 2.5 Main class for the client 


public class EchoClient { 


private final String host; 
private final int port; 


public EchoClient(String host, int port) { 
this.host - host; 
this.port - port; 


public void start() throws Exception { 
EventLoopGroup group = new NioEventLoopGroup(); 


try { 
Bootstrap b - new Bootstrap(); //1 
b.group(group) //2 
.channel(NioSocketChannel.class) //3 


.remoteAddress(new InetSocketAddress(host, port)) //4 
.handler(new ChannelInitializer<SocketChannel>() { //5 
@Override 
public void initChannel(SocketChannel ch) 
throws Exception { 
ch.pipeline().addLast( 
new EchoClientHandler()); 


} 
}); 
ChannelFuture f = b.connect().sync(); //6 
f.channel().closeFuture().sync(); //7 
} finally { 
group.shutdownGracefully().sync(); //8 


public static void main(String[] args) throws Exception { 
if (args.length != 2) { 
System.err.printin( 
"Usage: " + EchoClient.class.getSimpleName() + 
" «host» <port>"); 
return; 


final String host - args[0]; 
final int port = Integer.parseInt(args[1]); 


new EchoClient(host, port).start(); 


1.6] Bootstrap 


2.48 X: EventLoopGroup 来 处 理 客户 端 事 件 。 由 于 我 们 使 用 NIO 传输 ， 所 以 用 到 了 
NioEventLoopGroup 的 实现 


3. 使 用 的 channel 类 型 是 一 个 用 于 NIO 传输 
4. 设 置 服务 器 的 InetSocketAddress 


5. 当 建立 一 个 连接 和 一 个 新 的 通道 时 ， 创 建 添加 到 EchoClientHandler 实例 到 channel 
pipeline 


6. 连 接 到 远程 ;等 待 连接 完成 
7. 阻 塞 直到 Channel 关闭 
8. 调 用 shutdownGracefully() 来 关闭 线程 池 和 释放 所 有 资源 


与 以 前 一 样 ， 在 这 里 使 用 了 NIO 传输 。 请 注意 ， 您 可 以 在 客户 端 和 服务 器 使 用 不 同 的 传输 
> 例如 NIO 在 服务 器 端 和 OIO 客户 端 。 在 第 四 章 中 ， 我 们 将 研究 一 些 具体 的 因素 和 情况 ， 这 
将 导致 您 可 以 选择 一 种 传输 ， 而 不 是 另 一 种 。 


让 我 们 回顾 一 下 我 们 在 本 节 所 介绍 的 要 点 


e 一 个 Bootstrap 被 创建 来 初始 化 客户 端 

e 一 个 NioEventLoopGroup 实例 被 分 配给 处 理 该 事件 的 处 理 ， 这 包括 创建 新 的 连接 和 处 理 
入 站 和 出 站 数据 

e 一 个 InetSocketAddress 为 连接 到 服务 器 而 创建 


。 一 个 EchoClientHandler 将 被 安装 在 pipeline 当 连 接 完成 时 
e 之 后 Bootstrap.connect ( ) 被 调用 连接 到 远程 的 - 本 例 就 是 echo( 回 声 ) 服 务 器 。 
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编译 和 运行 Echo 服务 器 和 客户 
编译 
本 例 涉 及 到 多 模块 Maven 项 目的 组 织 
在 例子 chapter2 目录 下 ， 执 行 
mvn clean package 


输出 如 下 


Listing 2.6 Build Output 


chapter2>mvn clean package 

[INFO] Scanning for projects... 

INFO E E 
[INFO] Reactor Build Order: 

[INFO] 

[INFO] Echo Client and Server 

[INFO] Echo Client 

[INFO] Echo Server 

[INFO] 

[ENEONE 
[INFO] Building Echo Client and Server 1.0-SNAPSHOT 

ENEON e ee ee 
[INFO] 

[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ echo-parent --- 
[INFO] 

ENEON E CC seas esacSeesoctesere ase ceseauonmaamesc 
[INFO] Building Echo Client 1.0-SNAPSHOT 

[ENE ON 
[INFO] 

[INFO] --- maven-clean-plugin:2.5:clean (default-clean) @ echo-client --- 
[INFO] 

[INFO] --- maven-compiler-plugin:3.1:compile (default-compile) 

@ echo-client --- 

[INFO] Changes detected - recompiling the module! 


NFO) -aesesesbsesscossnescesscbcádsshechensossssosbbossoBSeeESESESeSSEHASE 
[INFO] Reactor Summary: 

[INFO] 

[INEO] Echo Client and Server 2.0... ee e eee SUCCESS [ 0.118 s] 
EPNEOSQBECHORCUHentEC C CUTE SI D T TT SUCCESS [ 1.219 s] 
[PENEOIRECKOMS CIV Cleat rie nemen EIN RE D DR ETS SUCCESS [ 0.110 s] 
(UNO) E Ef: 
[INFO] BUILD SUCCESS 

[ENEONE EL EE ELLE 


[INFO] Total time: 1.561 s 

[INFO] Finished at: 2014-06-08T17:39:15-05:00 

[INFO] Final Memory: 14M/245M 

[isl] -eesesedebesceseessssssessonesusseb5esassasdssesessapebesEssandasssst 


注意 事项 : 


e Maven Reactor 构建 顺序 : 先是 X POM， 然 后 是 子 项 目 

。 Netty artifact 没 在 用 户 的 本 地 存储 库 中 找到 ， 所 以 Maven 就 会 从 互联 网 上 下 载 

e clean 和 compile 在 构建 生命 周期 的 运行 。 事 后 mavensurefire-plugin 插件 运行 ， 但 不 会 
有 测试 类 存在 。 最 后 mavenjar-plugin 执行 


这 段 说 明了 项 目 已 经 成 功 编译 。 


运行 Echo 服务 器 和 客户 端 


我 们 使 用 exec-maven-plugin 来 运行 项 目 。 


在 chapter2/Server 目录 ， 执 行 


mvn exec:java 


输出 如 下 : 


[INFO] Scanning for projects... 

[INFO] 

(UNO) EC EE 
[INFO] Building Echo Server 1.0-SNAPSHOT 

[EENEOIR 7 EE E E 
[INFO] 

[INFO] >>> exec-maven-plugin:1.2.1:java (default-cli) @ echo-server >>> 
[INFO] 

[INFO] <<< exec-maven-plugin:1.2.1:java (default-cli) @ echo-server <<< 
[INFO] 

[INFO] --- exec-maven-plugin:1.2.1: java (default-cli) @ echo-server --- 
nettyinaction.echo.EchoServer started and listening for connections on 
/0:0:0:0:0:0:0:0:9999 


在 chapter2/Client 目录 ， 执 行 


mvn exec:java 


输出 如 下 : 


[INFO] Scanning for projects... 

[INFO] 
AENEON 
[INFO] Building Echo Client 1.0-SNAPSHOT 

ANEO e EE 
[INFO] 

[INFO] >>> exec-maven-plugin:1.2.1: java (default-cli) @ echo-client >>> 
[INFO] 

[INFO] <<< exec-maven-plugin:1.2.1: java (default-cli) @ echo-client <<< 
[INFO] 

[INFO] --- exec-maven-plugin:1.2.1: java (default-cli) @ echo-client --- 
Client received: Netty rocks! 

ENEON e sober sberetes ea sostesaotae 
[INFO] BUILD SUCCESS 

[ENE ON decane pasScoanesesscases EE EE 
[INFO] Total time: 3.907 s 

[INFO] Finished at: 2014-06-08T18:26:14-05:00 

[INFO] Final Memory: 8M/245M 

INGO) esses cessessdecsadésecsseasenseospadoadsasscocmesospcesas Sse ssacsocd 


在 服务 器 的 控制 台 输 出 : 


Server received: Netty rocks! 


发 生 了 什么 事 : 


e 客户 端 连 接 后 ， 它 发 送 消息 : “Netty rocks ! " 
e 服务 器 输出 接收 到 消息 并 将 其 返回 给 客户 端 
e 客户 输出 接收 到 的 消息 并 退出 。 


客户 端 ， 你 会 看 到 在 服务 器 的 控制 台 输 出 : 


Server received: Netty rocks! 


现在 ， 我 们 看 下 错误 的 情况 。 在 控制 台 输入 Ctrl-C 来 关闭 服务 器 。 而 后 运行 客户 端 ， 此 时 输 
出 如 下 : 


[INFO] Scanning for projects... 
[INFO] 
[EENE OM E EE 
[INFO] Building Echo Client 1.0-SNAPSHOT 
NEONI 7 
[INFO] 
[INFO] >>> exec-maven-plugin:1.2.1:java (default-cli) @ echo-client >>> 
[INFO] 
[INFO] <<< exec-maven-plugin:1.2.1: java (default-cli) @ echo-client <<< 
[INFO] 
[INFO] --- exec-maven-plugin:1.2.1: java (default-cli) @ echo-client --- 
[WARNING] 
java.lang.reflect.InvocationTargetException 
at sun.reflect.NativeMethodAccessorImpl.invokeO(Native Method) 
at sun.reflect.NativeMethodAccessorImpl.invoke 
(NativeMethodAccessorImpl.java:57) 
at sun.reflect.DelegatingMethodAccessorImpl.invoke 
(DelegatingMethodAccessorImpl.java:43) 
at java.lang.reflect.Method.invoke(Method.java:606) 
at org.codehaus.mojo.exec.ExecJavaMojo$1.run(ExecJavaMojo.java:297) 
at java.lang.Thread.run(Thread.java:744) 
Caused by: java.net.ConnectException: Connection refused: 
no further information: localhost/127.0.0.1:9999 
at sun.nio.ch.SocketChannellImpl.checkConnect(Native Method) 
at sun.nio.ch.SocketChannellImpl.finishConnect 
(SocketChannelImpl.java:739) 
at io.netty.channel.socket.nio.NioSocketChannel 
.doFinishConnect (NioSocketChannel.java:191) 
at io.netty.channel.nio. 
AbstractNioChannel$AbstractNioUnsafe.finishConnect( 
AbstractNioChannel.java:279) 


at io.netty.channel.nio.NioEventLoop 

. processSelectedKey(NioEventLoop. java:511) 

at io.netty.channel.nio.NioEventLoop 

. processSelectedKeysOptimized(NioEventLoop. java: 461) 

at io.netty.channel.nio.NioEventLoop 

. processSelectedKeys(NioEventLoop. java:378) 

at io.netty.channel.nio.NioEventLoop.run(NioEventLoop. java: 350) 
at io.netty.util.concurrent 

. SingleThreadEventExecutor$2.run 
(SingleThreadEventExecutor.java:101) 


1 more 
[INFO] ------------------------ 
[INFO] BUILD FAILURE 
[INFO] -------- 


[INFO] Total time: 3.728 s 

[INFO] Finished at: 2014-06-08T18:49:13-05:00 

[INFO] Final Memory: 8M/245M 

[KEENE ON C EE E 

[ERROR] Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2.1:java 
(default-cli) on project echo-client: An exception occured while executing the 
Java class. null: InvocationTargetException: Connection refused: no further 
information: 
localhost/127.0.0.1:9999 -» [Help 1] 


RETA? 客户 端 尝 试 连接 服务 器 ， 但 服务 器 是 关闭 的 ， 所 以 引发 了 一 个 
java.net.ConnectException ， 这 个 异常 被 EchoClientHandler 的 exceptionCaught() 触发 ， 打 
印 出 异常 信息 ， 并 关闭 channel 
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在 本 章 中 ， 您 构建 并 运行 你 的 第 一 个 Netty 的 客户 端 和 服务 器 。 虽 然 这 是 一 个 简单 的 应 用 程 
序 ， 它 可 以 扩展 到 几 千 个 并 发 连接 。 

在 下 面 的 章节 中 ， 我 们 会 看 到 的 更 多 Netty 如 何 简 化 可 扩展 和 多 线程 的 例子 。 我 们 还 将 更 深入 
的 了 解 Netty 支持 的 关注 点 分 离 的 构 建 理念 ;通过 提供 正确 的 抽 象 将 业 务 逻 辑 从 网 络 逻 辑 中 解 
38 » Netty 可 以 很 容易 地 跟 上 迅速 发 展 的 要 求 ， 而 不 损害 系统 的 稳定 性 。 


在 下 一 章 中 ， 我 们 将 提供 的 Netty 的 架构 的 概述 。 


Howe 
Netty & 
本 章 主要 了 解 Netty 的 架构 模型 ， 核 心 组 件 包括 : 


e Bootstrap 和 ServerBootstrap 
e Channel 


ChannelHandler 


ChannelPipeline 
e EventLoop 
e ChannelFuture 


这 个 目标 是 提供 一 个 深入 研究 的 上 下 文 ， 如 果 你 有 一 个 很 好 的 把 握 它 组 织 原则 ， 可 以 避免 迷 
失 。 


Netty Kit AT] 
下 面 枚 举 所 有 的 Netty 应 用 程序 的 基本 构建 模块 ， 包 括 客 户 端 和 服务 器 。 


BOOTSTRAP 


Netty 应 用 程序 通过 设置 bootstrap (引导 ) 类 的 开始 ， 该 类 提供 了 一 个 用 于 应 用 程序 网 络 层 
配置 的 容器 。 


CHANNEL 


底层 网 络 传输 API 必须 提供 给 应 用 IO 操作 的 接口 ， 如 读 ， 写 ， 连 接 ， 绑 定 等 等 。 对 于 我 们 来 
说 ， 这 是 结构 几乎 总 是 会 成 为 一 个 “socket"。 Netty 中 的 接口 Channel 定义 了 与 socket 丰富 
交互 的 操作 集 : bind, close, config, connect, isActive, isOpen, isWritable, read, write 等 等 。 
Netty 提供 大 量 的 Channel 实现 来 专门 使 用 。 这 些 包括 AbstractChannel > 
AbstractNioByteChannel，AbstractNioChannel，EmbeddedChannel > 

LocalServerChannel * NioSocketChannel 等 等 。 


CHANNELHANDLER 


ChannelHandler 支持 很 多 协议 ， 并 且 提 供用 于 数据 处 理 的 容器 。 我 们 已 经 知道 
ChannelHandler 由 特定 事件 触发 。 ChannelHandler 可 专用 于 几乎 所 有 的 动作 ， 和 包括 将 一 个 
对 象 转 为 字 节 (或 相反 ) ， 执 行 过 程 中 抛 出 的 异常 处 理 。 


常用 的 一 个 接口 是 ChannellnboundHandler， 这 个 类 型 接收 到 入 站 事件 (包括 接收 到 的 数 
JE) 可 以 处 理应 用 程序 逻辑 。 当 你 需要 提供 响应 时 ， 你 也 可 以 从 ChannellnboundHandler 冲 
刷 数据 。 一 句 话 ， 业 务 逻 辑 经 常 存 活 于 一 个 或 者 多 个 ChannellnboundHandler 。 


CHANNELPIPELINE 


ChannelPipeline 提供 了 一 个 容器 给 ChannelHandler 链 并 提供 了 一 个 API 用 于 管理 沿 着 链 入 
站 和 出 站 事件 的 流动 。 每 个 Channel 都 有 自己 的 ChannelPipeline， 当 Channel 创建 时 自动 创 
建 的 。 ChannelHandler 是 如 何 安 装 在 ChannelPipeline ? 主要 是 实现 了 ChannelHandler 的 
抽象 Channellnitializer。Channellnitializer 子 类 通过 ServerBootstrap 进行 注册 。 当 它 的 方法 
initChannel() 被 调用 时 ， 这 个 对 象 将 安装 自 定义 的 ChannelHandler 集 到 pipeline。 当 这 个 操 
作 完 成 时 ，Channellnitializer 子 类 则 从 ChannelPipeline 自动 删除 自身 。 


EVENTLOOP 


EventLoop 用 于 处 理 Channel 的 1/0 操作 。 一 个 单一 的 EventLoop 通 常会 处 理 多 个 Channel 
事件 。 一 个 EventLoopGroup 可 以 含有 多 于 一 个 的 EventLoop 和 提供 了 一 种 迭代 用 于 检索 清 
单 中 的 下 一 个 。 


CHANNELFUTURE 


Netty 所 有 的 MO 操作 都 是 异步 。 因 为 一 个 操作 可 能 无 法 立即 返回 ， 我 们 需要 有 一 种 方法 在 以 
后 确定 它 的 结果 。 出 于 这 个 目的 ，Netty 提供 了 接口 ChannelFuture, 它 的 addListener 方法 注 
册 了 一 个 ChannelFutureListener ， 当 操作 完成 时 ， 可 以 被 通知 (不 管 成 功 与 否 ) 。 


更 多 关于 ChannelFuture 


想 想 一 个 ChannelFuture 对 象 作为 一 个 未 来 执行 操作 结果 的 占 位 符 。 何 时 执行 取决 于 几 个 因 
素 ， 因 此 不 可 能 预测 与 精确 。 但 我 们 可 以 肯定 的 是 ， 它 会 被 执行 。 此 外 ， 所 有 的 操作 返回 
ChannelFuture 对 象 和 属于 同一 个 Channel 将 在 以 正确 的 顺序 被 执行 ， 在 他 们 被 调用 后 。 


Channel, Event 和 I/O 


Netty 是 一 个 非 阻塞 、 事 件 驱 动 的 网 络 框架 。Netty 实际 上 是 使 用 Threads (多 线程 ) 处 理 W/O 
事件 ， 对 于 熟悉 多 线程 编程 的 读者 可 能 会 需要 关注 同步 代码 。 这 样 的 方式 不 好 ， 因 为 同步 会 
影响 程序 的 性 能 ，Netty 的 设计 保证 程序 处 理事 件 不 会 有 同步 。 图 Figure 3.1 展示 了 ， 你 不 需 
要 在 Channel 之 间 共 享 ChannelHandler 实例 的 原因 : 

Figure 3.1 
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该 图 显示 ， 一 个 EventLoopGroup 具有 一 个 或 多 个 EventLoop。 想 象 EventLoop 作为 一 个 
Thread 给 Channel 执行 工作 。 (事实 上 ， 一 个 EventLoop 是 势必 为 它 的 生命 周期 一 个 线 
程 。) 


当 创 建 一 个 Channel > Netty 通过 一 个 单独 的 EventLoop 实例 来 注册 该 Channel (并 同样 是 
一 个 单独 的 Thread ) 的 通道 的 使 用 寿命 。 这 就 是 为 什么 你 的 应 用 程序 不 需要 同步 Netty 的 
IO 操作 ;所 有 Channel 的 1/0 始终 用 相同 的 线程 来 执行 。 


我 们 将 在 第 15 章 进一步 讨论 EventLoop 和 EventLoopGroup ° 


Channel, Event 和 I/O 


45 


a = J 
ft 4 x Bootstrapping 为 什么 要 用 
Bootstrapping (引导 ) Æ Netty 中 配置 程序 的 过 程 ， 当 你 需要 连接 客户 端 或 服务 器 绑 定 指定 
端口 时 需要 使 用 Bootstrapping ° 


如 前 面 所 述 ，Bootstrapping 有 两 种 类 型 ， 一 种 是 用 于 客户 端的 Bootstrap， 一 种 是 用 于 服务 端 
的 ServerBootstrap。 不 管 程序 使 用 哪 种 协议 ， 无 论 是 创建 一 个 客户 端 还 是 服务 器 都 需要 使 
用 “引导 ”。 


面向 连接 VS. 无 连接 


请 记 住 ， 这 个 讨论 适用 于 TCP 协议， 它 是 “面向 连接 "的 。 这 样 协议 保证 该 连接 的 端点 之 间 的 
消息 的 有 序 输送 。 无 连接 协议 发 送 的 消息 ， 无 法 保证 顺序 和 成 功 性 


两 种 Bootstrapping 之 间 有 一 些 相似 之 处 ， 也 有 一 些 不 同 。Bootstrap 和 ServerBootstrap 之 
间 的 差异 如 下 : 


Table 3.1 Comparison of Bootstrap classes 


分 类 Bootstrap ServerBootstrap 
网 络 功能 连接 到 远程 主机 和 端口 绑 定 本 地 端口 
EventLoopGroup 数量 1 2 


Bootstrap 用 来 连接 远程 主机 ， 有 1 个 EventLoopGroup 
ServerBootstrap 用 来 绑 定 本 地 端口 ， 有 2 个 EventLoopGroup 


事件 组 (Groups)， 传 输 (transports) 和 处 理 程序 (handlers) 分 别 在 本 章 后 面 讲述 ， 我 们 在 这 里 只 
讨论 两 种 "引导 "的 差异 (Bootstrap 和 ServerBootstrap)。 第 一 个 差异 很 明 

显 ，“ServerBootstrap” 监 听 在 服务 器 监听 一 个 端口 轮 询 客 户 端的 “Bootstrap” 或 
DatagramChannel 是 否 连 接 服务 器 。 通 常 需要 调用 “Bootstrap” 类 的 connect() 方 法 ， 但 是 也 可 
以 先 调用 bind() 再 调用 connect() 进 行 连接 ， 之 后 使 用 的 Channel 包 含 在 bind() 返 回 的 
ChannelFuture 中 。 


一 个 ServerBootstrap 可 以 认为 有 2 个 Channel 集合 ， 第 一 个 集合 包含 一 个 单 例 
ServerChannel， 代 表 持 有 一 个 绑 定 了 本 地 端口 的 socket: 第 二 集合 包含 所 有 创建 的 
Channel， 处 理 服 务 器 所 接收 到 的 客户 端 进来 的 连接 。 下 图 形象 的 描述 了 这 种 情况 : 
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Figure 3.2 Server with two EventLoopGroups 


什么 是 Bootstrapping 为 什么 要 用 
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与 ServerChannel 相关 EventLoopGroup 分 配 一 个 EventLoop 是 负责 创建 Channels 用 于 传 
入 的 连接 请 求 。 一 旦 连接 接受 ， 第 二 个 EventLoopGroup 分 配 一 个 EventLoop 给 它 的 
Channel ° 
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ChannelHandler 和 ChannelPipeline 


ChannelPipeline  ChannelHandler 链 的 容器 。 


在 许多 方面 的 ChannelHandler 是 在 您 的 应 用 程序 的 核心 ， 尽管 有 时 它 可 能 并 不 明显 。 
ChannelHandler 支持 广泛 的 用 途 ， 使 它 难 以 界定 。 因 此 ， 最 好 是 把 它 当 作 一 个 通用 的 容器 ， 
处 理 进来 的 事件 ( 包括 数据 ) 并 且 通 过 ChannelPipeline。 下 图 展示 了 
ChannellnboundHandler 和 ChannelOutboundHandler 继承 自 父 接口 ChannelHandler。 


Figure 3.3 ChannelHandler class hierarchy 


ChannelHandler 


‘© ChannelOutboundHandler | ‘© ChannellnboundHandler | 


Netty 中 有 两 个 方向 的 数据 流 ， 图 3.4 显示 的 入 站 (ChannellnboundHandler) 和 出 站 
(ChannelOutboundHandler) 之 间 有 一 个 明显 的 区 别 : 若 数据 是 从 用 户 应 用 程序 到 远程 主机 则 
是 “出 站 (outbound)”， 相 反 若 数 据 时 从 远程 主机 到 用 户 应 用 程序 则 是 “入 站 (inbound)”。 


为 了 使 数据 从 一 端 到 达 另 一 端 ， 一 个 或 多 个 ChannelHandler 将 以 某 种 方式 操作 数据 。 这 些 
ChannelHandler 会 在 程序 的 “引导 ”阶段 被 添加 ChannelPipeline 中 ， 并 且 被 添加 的 顺序 将 决定 
处 理 数 据 的 顺序 。 


Figure 3.4 ChannelPipeline with inbound and outbound ChannelHandlers 


Socket/ 
Transport 


Channel Channel m 
sewwweew ewe Inbound — Meses] Inbound ChannelPipeline 
Handler Handler 


Channel Channel 


Handler 





图 3.4 同样 展示 了 进 站 和 出 站 的 处 理 器 都 可 以 被 安装 在 相同 的 pipeline 。 本 例子 中 ， 如 果 消 
息 或 任何 其 他 入 站 事件 被 读 到 ， 将 从 pipeline 头 部 开始 ， 传 递 到 第 一 个 
ChannellnboundHandler。 该 处 理 器 可 能 会 或 可 能 不 会 实际 修改 数据 ， 取 决 于 其 特定 的 功能 ， 
在 这 之 后 该 数据 将 被 传递 到 链 中 的 下 一 个 ChannellnboundHandler。 最 后 ， 将 数据 到 达 
pipeline 的 尾部 ， 此 时 所 有 处 理 结束 。 


数据 的 出 站 运动 ( 即 ， 数 据 被 * 写 入 ”) 在 概念 上 是 相同 的 。 在 这 种 情况 下 的 数据 从 尾部 流 过 
ChannelOutboundHandlers 的 链 ， 直 到 它 到 达 头 部 。 超 过 这 点 ， 出 站 数据 将 到 达 的 网 络 传 
输 ， 在 这 里 显示 为 一 个 socket。 通 常 ， 这 将 触发 一 个 写 入 操作 。 


更 多 Inbound ` Outbound Handler 


在 当前 的 链 (chain) 中 ， 事 件 可 以 通过 ChanneHandlerContext 传递 给 下 一 个 handler ° 
Netty 为 此 提供 了 抽象 基 类 ChannellInboundHandlerAdapter 和 
hannelOutboundHandlerAdapter， 用 来 处 理 你 想 要 的 事件 。 这 些 类 提供 的 方法 的 实现 ， 可 以 
简单 地 通过 调用 ChannelHandlerContext 上 的 相应 方法 将 事件 传递 给 下 一 个 handler。 在 实际 
应 用 中 ， 您 可 以 按 需 覆盖 相应 的 方法 即 可 。 


所 以 ， 如 果 出 站 和 入 站 操作 是 不 同 的 ， 当 ChannelPipeline 中 有 混合 处 理 器 时 将 发 生 什 么 ? 虽 
然 入 站 和 出 站 处 理 器 都 扩展 了 ChannelHandler，Netty 的 ChannellnboundHandler 的 实现 和 
ChannelOutboundHandler 之 间 的 是 有 区 别 的 ， 从 而 保证 数据 传递 只 从 一 个 处 理 器 到 下 一 个 处 
理 器 保证 正确 的 类 型 。 


当 ChannelHandler 被 添加 到 的 ChannelPipeline 它 得 到 一 个 ChannelHandlerContext， 它 代 
表 一 个 ChannelHandler 和 ChannelPipeline 之 间 的 “ 绑 定 ”"。 它 通常 是 安全 保存 对 此 对 象 的 引 
用 ， 除 了 当 协 议 中 的 使 用 的 是 不 面向 连接 (例如 ，UDP) 。 而 该 对 象 可 以 被 用 来 获得 底层 
Channel, 它 主要 是 用 来 写 出 站 数据 。 

还 有 ， 实 际 上 ， 在 Netty 发 送 消息 有 两 种 方式 。 您 可 以 直接 写 消息 给 Channel RSA 


ChannelHandlerContext 对 象 。 主 要 的 区 别 是 ， 前 一 种 方法 会 导致 消息 从 ChannelPipeline 的 
尾部 开始 ， 而 后 者 导致 消息 从 ChannelPipeline 下 一 个 处 理 器 开始 。 


it $2 à 观察 ChannelHandler 


正如 我 们 之 前 所 说 ， 有 很 多 不 同类 型 的 ChannelHandler » 4&^* ChannelHandler 做 什么 取决 
于 其 超 类 。 Netty 提供 了 一 些 默 认 的 处 理 程序 实现 形式 的 "adapter (适配器 ) "类 。 这 些 旨 在 
简化 开发 处 理 逻 辑 。 我 们 已 经 看 到 ， 在 pipeline 中 每 个 的 ChannelHandler 负责 转发 事件 到 链 
中 的 下 一 个 处 理 器 。 这 些 适 配器 类 (及 其 子 类 ) 会 自动 帮 你 实现 ， 所 以 你 只 需要 实现 该 特定 
的 方法 和 事件 。 


为 什么 用 适配器 ? 


有 几 个 适配器 类 ， 可 以 减少 编写 自 定义 ChannelHandlers ， 因 为 他 们 提供 对 应 接口 的 所 有 方 
法 的 默认 实现 。 (也 有 类 似 的 适配器 ， 用 于 创建 编码 器 和 解码 器 ， 这 我 们 将 在 稍 后 讨论 。) 
这 些 都 是 创建 自 定 义 处 理 器 时 ， 会 经 常 调用 的 适配器 : ChannelHandlerAdapter ` 
ChannellnboundHandlerAdapter ` ChannelOutboundHandlerAdapter `~ 
ChannelDuplexHandlerAdapter 


下 面 解释 下 三 个 ChannelHandler 的 子 类 型 : 编码 器 、 解 码 器 以 及 
ChannellnboundHandlerAdapter 的 子 类 SimpleChannellnboundHandler 


编码 器、 解码 器 


当 您 发 送 或 接收 消息 时 ，Netty 数据 转换 就 发 生 了 。 入 站 消息 将 从 字 节 转 为 一 个 Java 对 象 ;也 
就 是 说 ，" 解 码 ”。 如果 该 消息 是 出 站 相反 会 发 生 : “编码 ”， 从 一 个 Java 对 象 转 为 字 节 。 其 原 
是 简单 的 : 网 络 数据 是 一 系列 字 节 ， 因 此 需要 从 那 类 型 进行 转换 。 


不 同类 型 的 抽象 类 用 于 提供 编码 器 和 解码 器 的 ， 这 取决 于 手头 的 任务 。 例 如 ， 应 用 程序 可 能 
并 不 需要 马上 将 消息 转 为 字 节 。 相 反 ， 该 消息 将 被 转换 一 些 其 他 格式 。 一 个 编码 器 将 仍然 可 
以 使 用 ， 但 它 也 将 衍生 自 不 同 的 超 类 ， 


在 一 般 情 况 下 ， 基 类 将 有 一 个 名 字 类 似 ByteToMessageDecoder 或 
MessageToByteEncoder。 在 一 种 特殊 类 型 的 情况 下 ， 你 可 能 会 发 现 类 似 ProtobufEncoder 和 
ProtobufDecoder， 用 于 支持 谷歌 的 protocol buffer 。 


严格 地 说 ， 其 他 处 理 器 可 以 做 编码 器 和 解码 器 能 做 的 事 。 但 正如 适配器 类 简化 创建 通道 处 理 
器 ， 所 有 的 编码 器 /解码 器 适配器 类 都 实现 自 ChannellnboundHandler 或 
ChannelOutboundHandler ° 


对 于 入 站 数据 ，channelRead 方法 /事件 被 覆盖 。 这 种 方法 在 每 个 消息 从 入 站 Channel 读 入 时 
调用 。 该 方法 将 调用 特定 解码 器 的 “解码 "方法 ， 并 将 解码 后 的 消息 转发 到 管道 中 下 个 的 
ChannellnboundHandler ° 


出 站 消息 是 类 似 的 。 编 码 器 将 消息 转 为 字 节 ， 转 发 到 下 个 的 ChannelOutboundHandler ° 


SimpleChannelHandler 


也 许 最 常见 的 处 理 器 是 接收 到 解码 后 的 消息 并 应 用 一 些 业务 逻辑 到 这 些 数据 。 要 创建 这 样 一 
个 ChannelHandler， 你 只 需要 扩展 基 类 SimpleChannellnboundHandler 其 中 下 是 想 要 进行 处 
理 的 类 型 。 这 样 的 处 理 器 ， 你 将 覆盖 基 类 的 一 个 或 多 个 方法 ， 将 获得 被 作为 输入 参数 传递 所 
有 方法 的 ChannelHandlerContext 的 引用 。 


在 这 种 类 型 的 处 理 器 方法 中 的 最 重要 是 channelRead0(ChannelHandlerContext，T)。 在 这 个 
调用 中 ，T 是 将 要 处 理 的 消息 。 你 怎么 做 ， 完 全 取决 于 你 ， 但 无 论 如 何 你 不 能 阻塞 IO 线程 ， 
因为 这 可 能 是 不 利于 高 性 能 。 


阻塞 操作 


VO 线程 一 定 不 能 完全 阻塞 ， 因 此 禁止 任何 直接 阻塞 操作 在 你 的 ChannelHandler， 有 一 种 方 
法 来 实现 这 一 要 求 。 你 可 以 指定 一 个 EventExecutorGroup 当 添 加 ChannelHandler 到 
ChannelPipeline ° 3& EventExecutorGroup 将 用 于 获得 EventExecutor， 将 执行 所 有 的 
ChannelHandler 的 方法 。 这 EventExecutor 将 从 WO 线程 使 用 不 同 的 线程 ， 从 而 释放 
EventLoop ° 
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在 本 章 中 ， 我 们 提出 了 Netty 的 关键 部 件 和 概念 的 概述 ， 以 及 他 们 是 如 何 结合 在 一 起 的 。 许 多 
下 面 的 章节 都 致力 于 深入 研究 各 个 组 件 和 概念 ， 应 该 可 以 帮助 你 了 解 全 貌 。 


下 一 章 将 探讨 Netty 并 提供 不 同 的 传输 ， 以 及 如 何 选择 最 适合 您 应 用 程序 的 传输 。 


Transport 


本 章 将 涵盖 很 多 transport( 传 输 )， 他 们 的 用 例 以 及 API: 


e NIO 

e OIO 

e Local( 本 地 ) 

e Embedded( A +k) 


网 络 应 用 程序 提供 了 人 与 系统 通信 的 信道 ， 但 是 ， 当 然 他 们 也 将 大 量 的 数据 从 一 个 地 方 移 到 
到 另 一 个 地 方 。 如 何 做 到 这 一 点 取决 于 具体 的 网 络 传输 ， 但 转移 始终 是 相同 的 : 字 节 通过 线 
路 。 传 输 的 概念 帮助 我 们 抽象 掉 的 底层 数据 转移 的 机 制 。 所 有 人 都 需要 知道 的 是 ， 字 节 在 被 
发 送 和 接收 。 


如 果 你 已 经 做 过 Java 中 的 网 络 编程 ， 你 可 能 会 发 现在 某 些 时 候 你 必须 支持 比 预 期 更 多 的 并 发 
连接 。 如 果 你 再 尝试 从 阻塞 切换 到 非 阻 塞 传输 ， 则 可 能 遇 会 到 的 问题 ， 因 为 Java 的 公开 的 网 
络 API 来 处 理 这 两 种 情况 有 很 大 的 不 同 。 


Netty 在 传输 层 是 统一 的 API， 这 使 得 比 你 用 IDK 实现 更 简单 。 你 无 需 重 构 整个 代码 库 。 总 
之 ， 你 可 以 省 下 时 间 去 做 其 他 更 富有 成 效 的 事 。 


在 本 章 中 ， 我 们 将 研究 这 个 统一 的 API， 与 JDK 进行 演示 对 比 ， 可 以 见 它 具 有 更 大 的 易 用 
性 。 我 们 将 介绍 不 同 的 捆绑 在 Netty 的 传输 实现 和 适当 的 的 用 例 。 吸 收 这 些 信息 后 ， 你 就 知 
道 如 何 选择 适合 您 的 应 用 的 最 佳 选择 。 


本 章 的 唯一 前 提 是 Java 编程 语言 的 知识 。 最 好 是 有 网 络 框架 或 网 络 编程 的 经 验 ， 但 也 不 是 
必需 的 。 


让 我 们 看 看 现实 世界 传输 是 如 何 工作 的 。 


案例 研究 :Transport 的 迁移 


为 了 让 你 想象 Transport 如 何 工 作 ， 我 会 从 一 个 简单 的 应 用 程序 开始 ， 这 个 应 用 程序 什么 都 不 
做 ， 只 是 接受 客户 端 连 接 并 发 送 "Hip 字 符 串 消息 到 客户 端 ， 发 送 完 了 就 断 开 连 接 。 


没有 用 Netty 实现 VO 和 NIO 
我 们 将 不 用 Netty 实现 只 用 JDK API 来 实现 VO 和 NIO。 下 面 这 个 例子 ， 是 使 用 阻塞 IO 实现 


的 例子 : 


Listing 4.1 Blocking networking without Netty 


public class PlainOioServer { 


public void serve(int port) throws IOException { 
final ServerSocket socket = new ServerSocket(port); 


try { 
for (;;) { 
final Socket clientSocket - socket.accept(); //2 
System.out.println("Accepted connection from " + clientSocket); 


//1 


new Thread(new Runnable() { //3 


@Override 
public void run() { 
OutputStream out; 


try { 
out = clientSocket.getOutputStream(); 


out.write("Hi!\r\n".getBytes(Charset.forName("UTF-8"))); 
//4 

out.flush(); 

clientSocket.close(); 7/5 


} catch (IOException e) { 
e.printStackTrace(); 


try { 
clientSocket.close(); 


catch (IOException ex) { 
// ignore on close 


} 


}).start(); //6 


j 
catch (IOException e) { 


e.printStackTrace(); 


1. 绑 定 服务 器 到 指定 的 端口 。 

2. 接 受 一 个 连接 。 

3. 创 建 一 个 新 的 线程 来 处 理 连 接 。 
4. 将 消息 发 送 到 连接 的 客户 端 。 


5. 一 旦 消息 被 写 入 和 刷新 时 就 关闭 连接 。 


上 面 的 方式 可 以 工作 正常 ， 但 是 这 种 阻塞 模式 在 大 连接 数 的 情况 就 会 有 很 严重 的 问题 ， 如 容 
户 端 连接 超时 ， 服 务 器 响应 严重 延迟 ， 性 能 无 法 扩展 。 为 了 解决 这 种 情况 ， 我 们 可 以 使 用 异 
步 网 络 处 理 所 有 的 并 发 连接 ， 但 问题 在 于 NIO 和 OIO 的 API 是 完全 不 同 的 ， 所 以 一 个 用 OIO 
开发 的 网 络 应 用 程序 想 要 使 用 NIO 重 构 代码 几乎 是 重新 开发 。 


下 面 代码 是 使 用 NIO 实现 的 例子 : 


Listing 4.2 Asynchronous networking without Netty 


public class PlainNioServer { 
public void serve(int port) throws IOException { 
ServerSocketChannel serverChannel = ServerSocketChannel.open(); 
serverChannel.configureBlocking( false); 
ServerSocket ss = serverChannel.socket(); 
InetSocketAddress address = new InetSocketAddress(port); 
ss.bind(address) ; //1 
Selector selector - Selector.open(); //2 
serverChannel.register(selector, SelectionKey.OP ACCEPT); //3 
final ByteBuffer msg - ByteBuffer.wrap("Hi!NrNn".getBytes()); 
for (;;) { 
try { 
selector.select(); //4 
) catch (IOException ex) { 
ex.printStackTrace(); 
// handle exception 
break; 
j 
Set«SelectionKey» readyKeys = selector.selectedKeys(); //5 
Iterator«SelectionKey» iterator - readyKeys.iterator(); 
while (iterator.hasNext()) { 
SelectionKey key - iterator.next(); 
iterator.remove(); 


try { 
if (key.isAcceptable()) { //6 
ServerSocketChannel server - 
(ServerSocketChannel)key.channel(); 
SocketChannel client - server.accept(); 
client.configureBlocking(false); 
client.register(selector, SelectionKey.OP WRITE | 
SelectionKey.OP READ, msg.duplicate()); //7 
System. out.println( 
"Accepted connection from " + client); 
} 
if (key.iswritable()) { //8 


SocketChannel client - 
(SocketChannel)key.channel(); 
ByteBuffer buffer - 
(ByteBuffer)key.attachment(); 
while (buffer.hasRemaining()) { 
if (client.write(buffer) == 0) ( //9 
break; 


} 


} 
client.close(); //10 


} 
} catch (IOException ex) { 
key.cancel(); 


try { 
key.channel().close(); 


} catch (IOException cex) { 
// 在 关闭 时 忽略 


1. 绑 定 服 务 器 到 制定 端口 

2. 打 开 selector 处 理 channel 

3. 注 册 ServerSocket 到 ServerSocket ， 并 指定 这 是 专门 意 接 受 连接 。 
4. 等 待 新 的 事件 来 处 理 。 这 将 阻塞 ， 直 到 一 个 事件 是 传 入 。 

5. 从 收 到 的 所 有 事件 中 获取 SelectionKey 实例 。 

6. 检 查 该 事件 是 一 个 新 的 连接 准备 好 接受 。 

7. 接 受 客户 端 ， 并 用 selector 进行 注册 。 

8. 检 查 socket 是 否 准 备 好 写 数据 。 


9. 将 数据 写 入 到 所 连接 的 客户 端 。 如 果 网 络 饮 和， 连接 是 可 写 的 ， 那 么 这 个 循环 将 写 入 数据 ， 
直到 该 缓冲 区 是 空 的 。 


10. 关 闭 连 接 。 

如 你 所 见 ， 即 使 它们 实现 的 功能 是 一 样 ， 但 是 代码 完全 不 同 。 下 面 我 们 将 用 Netty 来 实现 相同 
的 功能 。 

采用 Netty 实现 VO 和 NIO 

下 面 代 码 是 使 用 Netty 作 为 网 络 框架 编写 的 一 个 阻塞 IO 例子 : 


Listing 4.3 Blocking networking with Netty 


public class NettyOioServer { 


public void server(int port) throws Exception { 
final ByteBuf buf = Unpooled.unreleasableBuffer ( 
Unpooled.copiedBuffer("Hi!\r\n", Charset.forName("UTF-8"))); 
EventLoopGroup group = new OioEventLoopGroup(); 


try { 
ServerBootstrap b = new ServerBootstrap(); //1 
b.group(group) //2 


.channel(OioServerSocketChannel.class) 
.localAddress(new InetSocketAddress(port)) 
.childHandler(new ChannelInitializer<SocketChannel>() (//3 
@Override 
public void initChannel(SocketChannel ch) 
throws Exception { 
ch.pipeline().addLast(new ChannelInboundHandlerAdapter() { 
//4 
QOverride 
public void channelActive(ChannelHandlerContext ctx) throws E 
xception { 
ctx.writeAndFlush(buf.duplicate()).addListener(ChannelFut 
ureListener.CLOSE);//5 


3); 
3) 
ChannelFuture f = b.bind().sync(); //6 
f.channel().closeFuture().sync(); 


} finally { 
group.shutdownGracefully().sync(); //7 


1. 创 建 一 个 ServerBootstrap 

2. 使 用 OioEventLoopGroup 允许 阻塞 模式 

3. 指 定 Channellnitializer 将 给 每 个 接受 的 连接 调用 

4. 添 加 的 ChannelHandler 拦截 事件 ， 并 允许 他 们 作出 反应 

5. 写 信息 到 客户 端 ， 并 添加 ChannelFutureListener 当 一 旦 消息 写 入 就 关闭 连接 
6. 绑 定 服务 器 来 接受 连接 

7. 释 放 所 有 资源 


下 面 代码 是 使 用 Netty NIO 实现 。 


Netty NIO 版 本 
下 面 是 Netty NIO 的 代码 ， 只 是 改变 了 一 行 代码 ， 就 从 OIO 传输 切换 到 了 NIO 。 


Listing 4.4 Asynchronous networking with Netty 


public class NettyNioServer { 


public void server(int port) throws Exception { 
final ByteBuf buf = Unpooled.unreleasableBuf fer ( 
Unpooled.copiedBuffer("Hi!\r\n", Charset.forName("UTF-8"))); 
NioEventLoopGroup bossGroup = new NioEventLoopGroup(1); 
NioEventLoopGroup workerGroup - new NioEventLoopGroup(); 
try { 
ServerBootstrap b - new ServerBootstrap(); //1 
b.group(bossGroup, workerGroup) //2 
.channel(NioServerSocketChannel.class) 
.localAddress(new InetSocketAddress(port)) 
.childHandler(new ChannelInitializer<SocketChannel>() { //3 
@Override 
public void initChannel(SocketChannel ch) 
throws Exception { 


ch.pipeline().addLast(new ChannelInboundHandlerAdapter() { 


@Override 


//4 


public void channelActive(ChannelHandlerContext ctx) throws E 


xception { 
ctx.writeAndFlush(buf.duplicate()) 
.addListener(ChannelFutureListener.CLOSE); 


}); 


}); 
ChannelFuture f = b.bind().sync(); //6 
f.channel().closeFuture().sync(); 
} finally { 
bossGroup.shutdownGracefully().sync(); //7 
workerGroup.shutdownGracefully().sync(); 


} 


1. 创 建 一 个 ServerBootstrap 

2. 使 用 NioEventLoopGroup 允许 非 阻塞 模式 (NIO) 

3. 指 定 Channellnitializer 将 给 每 个 接受 的 连接 调用 

4. 添 加 的 ChannellnboundHandlerAdapter() 接收 事件 并 进行 处 理 


5. 写 信息 到 客户 端 ， 并 添加 ChannelFutureListener 当 一 旦 消息 写 入 就 关闭 连接 


6. 绑 定 服务 器 来 接受 连接 
7. 释 放 所 有 资源 


因为 Netty 使 用 相同 的 API 来 实现 每 个 传输 ， 它 并 不 关心 你 使 用 什么 来 实现 。Netty 通过 操作 
接口 Channel 、ChannelPipeline 和 ChannelHandler 来 实现 。 


现在 你 了 解 到 了 用 基于 Netty 传输 的 好 处 。 下 面 就 来 看 下 传输 的 API. 


Transport API 


Transport API 的 核心 是 Channel 接口 ， 用 于 所 有 的 出 站 操作 ， 见 下 图 
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如 上 图 所 示 ， 每 个 Channel 都 会 分 配 一 个 ChannelPipeline fv ChannelConfig ° 


ChannelConfig 负责 设置 并 存储 Channel 的 配置 ， 并 允许 在 运行 期 间 更 新 它们 。 传 输 一 般 有 
特定 的 配置 设置 ， 可 能 实现 了 ChannelConfig. 的 子 类 型 。 


ChannelPipeline 容纳 了 使 用 的 ChannelHandler 实例 ， 这 些 ChannelHandler 将 处 理 通道 传递 
的 “入 站 ”和 “出 站 ”数据 以 及 事件 。ChannelHandler 的 实现 允许 你 改变 数据 状态 和 传输 数据 。 


现在 我 们 可 以 使 用 ChannelHandler 做 下 面 一 些 事情 : 


e 传输 数据 时 ， 将 数据 从 一 种 格式 转换 到 另 一 种 格式 

e 异常 通知 

e Channel 变 为 active (活动 ) inactive 〈 非 活动 ) 时 获得 通知 * Channel 被 注册 或 注销 
时 从 EventLoop 中 获得 通知 

e 通知 用 户 特定 事件 


Intercepting Filter (拦截 过 滤器 ) 


ChannelPipeline 实现 了 常用 的 Intercepting Filter (拦截 过 滤器 ) 设计 模式 。UNIX 管 道 是 另 一 
例子 : 命令 链接 在 一 起 ， 一 个 命令 的 输出 连接 到 的 下 一 行 中 的 输入 。 


你 还 可 以 在 运行 时 根据 需要 添加 ChannelHandler 实例 到 ChannelPipeline 或 从 
ChannelPipeline 中 删除 ， 这 能 帮助 我 们 构建 高 度 灵活 的 Netty 程序 。 例 如 ， 你 可 以 支持 
STARTTLS 协议 ， 只 需 通过 加 入 适当 的 ChannelHandler (这 里 是 SslHandler) 到 的 
ChannelPipeline 中 ， 当 被 请 求 这 个 协议 时 。 


此 外 ， 访 问 指定 的 ChannelPipeline 和 ChannelConfig， 你 能 在 Channel 自身 上 进行 操作 。 
Channel 提供 了 很 多 方法 ， 如 下 列表 : 


Table 4.1 Channel main methods 


方法 名 称 描述 
eventLoop() 返回 分 配给 Channel 的 EventLoop 
pipeline() 返回 分 配给 Channel 的 ChannelPipeline 
isActive() 返回 Channel 是 否 激活 ， 已 激活 说 明 与 远程 连接 对 等 
localAddress() 返回 已 绑 定 的 本 地 SocketAddress 
remoteAddress() 返回 已 绑 定 的 远程 SocketAddress 
write() 写 数据 到 远程 客户 端 ， 数 据 通过 ChannelPipeline 传 输 
flush() 刷新 先前 的 数据 
writeAndFlush(...) 一 个 方便 的 方法 用 户 调 用 write(...) 而 后 调用 flush() 


后 面 会 越 来 越 熟悉 这 些 方法 ， 现 在 只 需要 记 住 我 们 的 操作 都 是 在 相同 的 接口 上 运行 
高 灵活 性 让 你 可 以 以 不 同 的 传输 实现 进行 重 构 。 


写 数据 到 远程 已 连接 客户 端 可 以 调用 Channel.write() 方 法 ， 如 下 代码 : 


Listing 4.5 Writing to a channel 


Channel channel = ...; // 获取 channel 的 引用 
ByteBuf buf = Unpooled.copiedBuffer("your data", CharsetUtil.UTF 8); 
ChannelFuture cf - channel.writeAndFlush(buf); //2 


cf.addListener(new ChannelFutureListener() { //3 


@Override 


public void operationComplete(ChannelFuture future) { 


} 
3); 


if (future.isSuccess()) { //4 
System.out.println("Write successful"); 

} else { 
System.err.println("Write error"); //5 


future.cause().printStackTrace(); 


创建 ByteBuf 保存 写 的 数据 


2. 写 数据 ， 并 刷新 


3. 添 加 ChannelFutureListener 即 可 写 操作 完成 后 收 到 通知 >» 


4. 写 操作 没有 错误 完成 


5. 写 操作 完成 时 出 现 错 误 


过 去 


' Netty 的 


//1 


Channel 是 线程 安全 (thread-safe) 的 ， 它 可 以 被 多 个 不 同 的 线程 安全 的 操作 ， 在 多 线程 环境 
下 ， 所 有 的 方法 都 是 安全 的 。 正 因为 Channel 是 安全 的 ， 我 们 存储 对 Channel 的 引用 ， 并 在 
学 习 的 时 候 使 用 它 写 入 数据 到 远程 已 连接 的 客户 端 ， 使 用 多 线程 也 是 如 此 。 下 面 的 代码 是 一 
个 简单 的 多 线程 例子 : 


Listing 4.6 Using the channel from many threads 


final Channel channel = ...; // 获取 channel 的 引用 
final ByteBuf buf = Unpooled.copiedBuffer("your data", 
CharsetUtil.UTF_8).retain(); //1 
Runnable writer = new Runnable() { //2 
@Override 
public void run() { 
channel.writeAndFlush(buf.duplicate()); 
} 
}; 


Executor executor = Executors.newCachedThreadPool();//3 


// 写 进 一 个 线程 
executor.execute(writer); //4 


// 写 进 另外 一 个 线程 
executor.execute(writer); //5 
1. 创 建 一 个 ByteBuf 保存 写 的 数据 
2. 创 建 Runnable 用 于 写 数据 到 channel 
3. 获 取 Executor 的 引用 使 用 线程 来 执行 任务 
4. 手 写 一 个 任务 ， 在 一 个 线程 中 执行 


5. 手 写 另 一 个 任务 ， 在 另 一 个 线程 中 执行 


包含 的 Transport 

Netty 自 带 了 一 些 传 输 协 议 的 实现 ， 虽 然 没 有 支持 所 有 的 传输 协议 ， 但 是 其 自 带 的 已 足够 我 们 
来 使 用 。Netty 应 用 程序 的 传输 协议 依赖 于 底层 协议 ， 本 节 我 们 将 学 习 Netty 中 的 传输 协议 。 
Netty 中 的 传输 方式 有 如 下 几 种 : 


Table 4.1 Provided transports 


方法 名 称 包 描述 
, . 基于 java.nio.channels 的 工具 包 ， 使 用 选择 
NIO io.netty.channel.socket.nio 器 作为 基础 的 方法 。 
OIO io.netty.channel.socket.oio ”基于 java.net 的 工具 包 ， 使 用 阻塞 流 。 
Local io.netty.channel.local 用 来 在 虚拟 机 之 间 本 地 通信 。 


CAE o X Zo AUR GEN AM EAR T 
Embedded io.netty.channel.embedded 4% M ChannelHandler， 可 以 非常 有 用 的 来 
测试 ChannelHandler 的 实现 。 


NIO-Nonblocking I/O 


NIO 传 输 是 目前 最 常用 的 方式 ， 它 通过 使 用 选择 器 提供 了 完全 异步 的 方式 操作 所 有 的 NO ， 
NIO 从 Java 1.4 才 被 提供 。 


NIO 中 ， 我 们 可 以 注册 一 个 通道 或 获得 某 个 通道 的 改变 的 状态 ， 通 道 状态 有 下 面 几 种 改变 : 


e 一 个 新 的 Channel 被 接受 并 已 准备 好 
e Channel 连接 完成 

e Channel 中 有 数据 并 已 准备 好 读 取 

e Channel 发 送 数 据 出 去 


处 理 完 改变 的 状态 后 需 重新 设置 他 们 的 状态 ， 用 一 个 线程 来 检查 是 否 有 已 准备 好 的 
Channel， 如 果 有 则 执行 相关 事件 。 在 这 里 可 能 只 同时 一 个 注册 的 事件 而 忽略 其 他 的 。 选 择 器 
所 支持 的 操作 在 SelectionKey 中 定义 ， 具 体 如 下 : 


Table 4.2 Selection operation bit-set 






方法 名 称 描述 
OP_ACCEPT 有 新 连接 时 得 到 通知 
OP_CONNECT 连接 完成 后 得 到 通知 
OP_REA 准备 好 读 取 数据 时 得 到 通 
OP_WRITE 写 入 更 多 数据 到 通道 时 得 到 通知 ， 大 部 分 时 间 
这 是 可 能 的 ， 但 有 时 socket 缓冲 区 完全 填 满 了 。 这 通常 发 生 在 你 写 数 据 的 速度 太 快 了 超过 了 
远程 节点 的 处 理 能 力 。 
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1. 新 信道 注册 WITH 选择 器 
择 处 理 的 状态 变化 的 通知 
3. 以 前 注册 的 通道 
4.Selectorselect () 方法 阻塞 ， 直 到 新 的 状态 变化 接收 或 配置 的 超时 已 过 
5. 检 查 是 否 有 状态 变化 
6. 处 理 所 有 的 状态 变化 
7. 在 选择 器 操作 的 同一 个 线程 执行 其 他 任务 


有 一 种 功能 ， 目 前 仅 适 用 于 NIO 传输 叫 什么 “zero-file-copy ( 零 文 件 拷贝 )”， 这 使 您 能 够 快 
速 ， 高 效 地 通过 移动 数据 到 从 文件 系统 传输 内 容 网 络 协议 栈 而 无 需 复制 从 内 核 空间 到 用 户 空 
闻 。 这 可 以 使 FT PR HTTP 协议 有 很 大 的 不 同 。 


然而 ， 并 非 所 有 的 操作 系统 都 支持 此 功能 。 此 外 ， 你 不 能 用 它 实现 数据 加 密 或 压缩 文件 系统 - 
仅 支持 文件 的 原生 内 容 。 另 一 方面 ， 传 送 的 文件 原本 已 经 加 密 的 是 完全 有 效 的 。 


接 下 来 ， 我 们 将 讨论 的 是 OIO ， 它 提供 了 一 个 阻塞 传输 。 


OIO-Old blocking I/O 


Netty 中 ， 该 OIO 传输 代表 了 一 种 妥协 。 它 通过 了 Netty 的 通用 API 访问 但 不 是 异步 ， 而 是 
构建 在 java net 的 阻塞 实现 上 。 任 何人 下 面 讨论 这 一 点 可 能 会 认为 ， 这 个 协议 并 没有 很 大 优 
势 。 但 它 确实 有 它 有 效 的 用 途 。 


假设 你 需要 的 端口 使 用 该 做 阻塞 调用 库 〈 例 如 JDBC) 。 它 可 能 不 适合 非 阻塞 。 相 反 ， 你 可 以 
在 短期 内 使 用 OIO 传输 ， 后 来 移植 到 纯 异 步 的 传输 上 。 让 我 们 看 看 它 是 如 何 工作 的 。 


在 java.net API， 你 通常 有 一 个 线程 接受 新 的 连接 到 达 监 听 在 ServerSocket， 并 创建 一 个 新 的 
线程 来 处 理 新 的 Socket 。 这 是 必需 的 ， 因 为 在 一 个 特定 的 socket 的 每 个 I/O 操作 可 能 会 阻塞 
在 任何 时 间 。 在 一 个 线程 处 理 多 个 socket 易 造 成 阻塞 操作 ， 一 个 socket 占用 了 所 有 的 其 
他 人 。 


鉴于 此 ， 你 可 能 想 知 道 Netty 是 如 何 用 相同 的 API 来 支持 NIO 的 异步 传输 。 这 里 
的 Netty 利用 了 SO TIMEOUT 标志 ， 可 以 设置 在 一 个 Socket» 3i timeout 指定 
最 大 毫秒 数量 用 于 等 待 VO 的 操作 完成 。 如 果 操作 在 指定 的 时 间 内 失败 ， 
SocketTimeoutException Akam o Netty 中 捕获 该 异常 并 继续 处 理 循 环 。 在 接 下 来 的 事件 
循环 运行 ， 它 再 次 尝试 。 像 Netty 的 异步 架构 来 支持 OIO 的话， 这 其 实 是 唯一 的 办 

ik » 5 SocketTimeoutException 抛 出 时 ， 执 行 stack trace ° 


Figure 4.3 OlO-Processing logic 
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1.2427 Be 2 Socket 


2.Socket 连接 到 远程 


5. 处 理 可 读 的 字 节 
6. 执 行 提交 到 socket 的 其 他 任务 


7. 再 次 尝试 读 


同 个 JVM 内 的 本 地 Transport 通信 


Netty 提供 了 “本 地 "传输 ， 为 运 d 同一 个 Java 虚拟 机 上 的 服务 器 和 客户 之 问 提供 异步 通 
言 。 此 传输 支持 所 有 的 Netty 常见 的 传输 实现 的 API 。 

在 此 传输 中 ， Channel 关联 的 SocketAddress 不 是 “ 绑 定 "到 一 个 物理 网 络 地 址 中 ， 
而 是 在 服务 器 是 运行 时 它 被 存储 在 注册 表 中 ， 当 Channel 关闭 时 它 会 注销 。 由 于 该 传输 不 
BEY” aa 言 ， 它 不 能 与 其 他 传输 实现 互 操作 。 因 此 ， 客 户 端 是 希望 连接 到 使 用 本 地 传 
输 的 的 服务 器 时 ， 要 注意 正确 的 用 法 。 除 此 限制 之 外 ， 它 的 使 用 是 与 其 他 的 传输 是 相同 的 。 


A #& Transport 


Netty? 还 提供 了 可 以 诅 入 ChannelHandler 实例 到 其 他 的 ChannelHandler 的 传输 ， 使 用 它 
们 就 像 辅助 类 ， 增 加 了 灵活 性 的 方法 ， 使 您 可 以 与 你 的 ChannelHandler 互动 。 


Bik A BURG 3€ AT PRIX ChannelHandler 的 实现 ， 但 它 也 可 用 于 将 功能 添加 到 现 有 的 
ChannelHandler 而 无 需 更 改 代码 。 诅 入 传输 的 关键 是 Channel 的 实现 ， 称 
A “EmbeddedChannel” ° 


第 10 章 描述 了 使 用 EmbeddedChannel 来 测试 ChannelHandlers ° 


Transport 使 用 情况 


前 面 说 了 ， 并 不 是 所 有 传输 都 支持 核心 协议 ， 这 会 限制 你 的 选择 ， 具 体 看 下 表 


Transport TCP UDP SCTP* UDT 
NIO 
OIO 
* 指 目前 仅 在 Linux 上 的 支持 。 
在 Linux 上 局 用 SCTP 


注意 SCTP 需要 kernel 支持 ， 举 例 Ubuntu : 


sudo apt-get install libsctp1 


Fedora 使 用 yum: 


sudo yum install kernel-modules-extra.x86_64 lksctp-tools.x86_64 


虽然 只 有 SCTP 具有 这 些 特殊 的 要 求 ， 对 应 的 特定 的 传输 也 有 推荐 的 配置 。 想 想 也 是 ， 一 个 
服务 器 平台 可 能 会 需要 支持 较 高 的 数量 的 并 发 连接 比 单 个 客户 端的 话 。 
下 面 是 你 可 能 遇 到 的 用 例 : 

e OIO- 在 低 连 接 数 、 需 要 低 延 迟 时 、 阻 塞 时 使 用 

e NIO- 在 高 连接 数 时 使 用 

e Local- 在 同一 个 JVM 内 通信 时 使 用 

e Embedded- 测 试 ChannelHandler 时 使 用 


ge 


2 
OA 


~ 


在 本 章 中 ， 我 们 研究 了 传输 ， 他 们 的 实现 和 使 用 ， 以 及 展示 了 如 何 用 Netty 来 开发 。 


我 们 介绍 了 Netty 的 传输 ， 并 解释 他 们 的 行为 。 我 们 还 知道 了 他 们 的 最 低 要 求 ， 因 为 不 是 所 有 
的 传输 都 使 用 相同 的 Java 版 本 的 工作 或 者 可 能 是 仅 在 特定 的 操作 系统 可 用 。 最 后 ， 我 们 讲 了 
匹配 传输 到 特定 的 用 例 。 


在 下 一 章 中 ， 我 们 的 重点 是 ByteBuf 和 ByteBufHolder > Netty 中 的 数据 容器 。 我 们 将 介绍 如 


何 使 用 它们 ， 如 何 从 中 获得 最 佳 的 性 能 。 


Buffer (247? ) 


正如 我 们 先前 所 指出 的 ， 网 络 数据 Si ies 远 是 byte( 字 节 )。Java NIO 提供 ByteBuffer 
作为 字 节 的 容器 ， 但 它 的 作用 太 有 限 ， 也 没有 进行 优化 。 使 用 ByteBuffer 通 常 是 一 件 繁 琐 而 又 
复杂 的 事 。 


幸运 的 是 ， Neves 了 一 个 强大 的 缓冲 实现 类 用 来 表示 字 节 序列 以 及 帮助 你 操作 字 节 和 自 定 
义 的 POJO。 这 个 新 的 缓冲 类 ，ByteBuf, 效 率 与 JDK 的 ByteBuffer 相 当 。 设 计 ByteBuf 是 为 了 在 
Netty 的 pipeline 中 传输 数据 。 它 是 为 了 解决 ByteBuffer 存 在 的 一 些 问 题 以 及 满足 网 络 程序 开发 
者 的 需求 ， 以 提高 他 们 的 生产 效率 而 被 设计 出 来 的 。 


请 注意 ， 在 本 书 剩 下 的 章节 中 ， 为 了 帮助 区 分 ， 我 将 使 用 数据 容器 指 代 Netty 的 缓冲 接口 及 实 
现 ， 同 时 仍然 使 用 Java 的 缓冲 API 指 代 JDK 的 缓冲 实现 。 


在 本 章 中 ， 你 将 会 学 习 Netty 的 缓冲 API, 为 什么 它 能 够 超过 JDK 的 实现 ， 它 是 如 何 做 到 这 一 
点 ， 以 及 为 bi 它 会 比 JDK 的 实现 更 加 灵活 。 你 将 会 深入 了 解 到 如 何在 Netty 框 架 中 访问 被 交 
换 数据 以 及 你 能 对 它 做 些 什么 。 这 一 章 是 之 后 章节 的 基础 ， 因 为 几乎 Netty 框 架 的 每 一 个 地 方 
都 用 到 了 缓冲 。 


因为 数据 需要 经 过 ChannelPipeline 和 ChannelHandler 进 行 传输 ， 而 这 又 离 不 开 缓 冲 ， 所 以 缓 
冲 在 Netty 应 用 程序 中 是 十 分 普遍 的 。 我 们 将 在 第 6 章 学 rane 
ChannelPipeline ° 


Buffer API 


主要 包括 


ByteBuf 
ByteBufHolder 


Netty 使 用 reference-counting( 引 用 计数 ) 来 判断 何 时 可 以 释放 ByteBuf 或 ByteBufHolder 和 其 
他 相关 资源 ， 从 而 可 以 利用 池 和 其 他 技巧 来 提高 性 能 和 降低 内 存 的 消耗 。 这 一 点 上 不 需要 开 
发 人 员 做 任何 事情 ， 但 是 在 开发 Netty 应 用 程序 时 ， 尤 其 是 使 用 ByteBuf 和 ByteBufHolder 


Bp 


你 应 该 尽 可 能 早 地 释放 池 资 源 。 Netty 缓冲 API 提供 了 几 个 优势 


可 以 自 定义 缓冲 类 型 
通过 一 个 内 置 的 复合 缓冲 类 型 实现 零 拷 贝 
扩展 性 好 ， 比 如 StringBuilder 
不 需要 调用 flip() 来 切换 读 / 写 模式 
读 取 和 写 入 索引 分 开 
方法 链 
引用 计数 
Pooling( 池 ) 
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口 是 必 要 的 ， 而 Netty 的 ByteBuf 满足 这 些 需求 。 


ByteBuf 是 一 个 很 好 的 经 过 优化 的 数据 容器 ， 我 们 可 以 将 字 节 数据 有 效 的 添加 到 ByteBuf 中 或 
从 ByteBuf 中 获取 数据 。 为 了 便于 操作 ，ByteBuf 提供 了 两 个 索引 : 一 个 用 于 读 ， 一 个 用 于 
写 。 我 们 可 以 按 顺 序 的 读 取 数据 ， 也 可 以 通过 调整 读 取 数据 的 索引 或 者 直接 将 读 取 位 置 索 引 
作为 参数 传递 给 get 方 法 来 重复 读 取 数据 。 


ByteBuf 是 如 何 工作 的 ? 


写 入 数据 到 ByteBuf 后 ，writerlndex ( 写 入 索引 ) 增加 写 入 的 字 节 数 。 读 取 字 节 后 ， 
readerlndex〈 读 取 索 引 ) 也 增加 读 取出 的 字 节 数 。 你 可 以 读 取 字 节 ， 直 到 写 入 索引 和 读 取 索 
引 处 在 相同 的 位 置 。 此 时 ByteBuf 不 可 读 ， 所 以 下 一 次 读 操 作 将 会 抛 出 
IndexOutOfBoundsException， 就 像 读 取 数组 时 越位 一 样 。 


调用 ByteBuf 的 以 "read" X, "write" 开头 的 任何 方法 都 将 自动 增加 相应 的 索引 。 另 一 方 
面 ，"set" 、"get" 操 作 字 节 将 不 会 移动 索引 位 置 ， 它 们 只 会 在 指定 的 相对 位 置 上 操作 字 节 。 


可 以 给 ByteBuf 指 定 一 个 最 大 容量 值 ， 这 个 值 限 制 着 ByteBuf 的 容量 。 任 何尝 试 将 写 入 超过 
个 值 的 数据 的 行为 都 将 导致 抛 出 异常 。ByteBuf 的 默认 最 大 容量 限制 是 
IntegerMAX_VALUE 。 


ByteBuf 类 似 于 一 个 字 节 数组 ， 最 大 的 区 别 是 读 和 写 的 索引 可 以 用 来 控制 对 缓冲 区 数据 的 访 
问 。 下 图 显示 了 一 个 容量 为 16 的 空 的 ByteBuf 的 布局 和 状态 ，writerlndex 和 readerlndex 都 
在 索引 位 置 0 : 


Figure 5.1 A 16-byte ByteBuf with its indices set to 0 





ByteBuf with capacity of 16 bytes 
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readerlndex and writerl ndex 
start at index 0 


ByteBuf 使 用 模式 


HEAP BUFFER( 堆 缓冲 区 ) 


最 常用 的 模式 是 ByteBuf 将 数据 存储 在 JVM 的 堆 空间 ， 这 是 通过 将 数据 存储 在 数组 的 实现 。 
堆 缓冲 区 可 以 快速 分 配 ， 当 不 使 用 时 也 可 以 快速 释放 。 它 还 提供 了 直接 访问 数组 的 方法 ， 通 

过 ByteBuf.array() 来 获取 byte[] 数 据 。 这 种 方法 ， 正 如 清单 5.1 中 所 示 的 那样 ， 是 非常 适合 用 
来 处 理 遗 留 数据 的 。 


Listing 5.1 Backing array 


ByteBuf heapBuf = ...; 


if (heapBuf.hasArray()) { //1 
byte[] array = heapBuf.array(); //2 
int offset = heapBuf.arrayOffset() + heapBuf.readerIndex(); /13 


int length = heapBuf.readableBytes();//4 
handleArray(array, offset, length); //5 


1.424 ByteBuf 是 否 有 支持 数组 。 


2. 如 果 有 的 话 ， 得 到 引用 数组 。 


we ks 


3. 计 算 第 一 字 节 的 偏 移 量 。 
4. 获 取 可 读 的 字 节 数 。 
5. 使 用 数组 ， 偏 移 量 和 长 度 作 为 调用 方法 的 参数 。 
注意 : 
。 访问 非 堆 缓冲 区 ByteBuf 的 数组 会 导致 UnsupportedOperationException ， 可 以 使 用 


ByteBuf.hasArray() 来 检查 是 否 支持 访问 数组 。 
e 这 个 用 法 与 JDK 的 ByteBuffer 类 似 


DIRECT BUFFER( 直 接 缓冲 区 ) 


“直接 缓冲 区 "是 另 一 个 ByteBuf 模式 。 对 象 的 所 有 内 存 分 配 发 生 在 堆 ， 对 不 对 ? 好 吧 ， 并 非 
总 是 如 此 。 在 JDK1.4 中 被 引入 NIO 的 ByteBuffer 类 允许 JVM 通过 本 地 方法 调用 分 配 内 存 ， 
其 目的 是 


e 通过 免 去 中 间 交 换 的 内 存 找 贝 , 提升 ID 处 理 速度 ; 直接 缓冲 区 的 内 容 可 以 驻 留 在 垃圾 回收 
扫描 的 堆 区 以 外 。 

e DirectBuffer 在 -XX:MaxDirectMemorySize=xxM 大 小 限制 下 , 使 用 Heap 之 外 的 内 存 , GC 
对 此 "无 能 为 力 ", 也 就 意味 着 规避 了 在 高 负载 下 频繁 的 GC 过 程 对 应 用 线程 的 中 断 影 响 .( 详 
见 http://docs.oracle.com/javase/7/docs/api/java/nio/ByteBuffer.html.) 


这 就 解释 了 为 什么 “直接 缓冲 区 ”对 于 那些 通过 socket 实现 数据 传输 的 应 用 Tas ， 是 一 种 非常 
理想 的 方式 。 如 果 你 的 数据 是 存放 在 堆 中 分 配 的 缓冲 区 ， 那 么 实际 上 ， 在 通过 socket 发 送 数 
据 之 前 ，JVM 需要 将 先 数据 复制 到 直接 缓冲 区 。 


ee AN: 是 在 内 存 空间 的 分 配 和 释放 上 比 扒 缓冲 区 更 复杂 ， 另 外 一 个 缺点 是 
果 要 将 数据 传递 给 遗留 代码 处 理 ， 因 为 数据 不 是 在 堆 上 ， 你 可 能 不 得 不 作出 一 个 副本 ， 如 
^t: 


Listing 5.2 Direct buffer data access 


ByteBuf directBuf = ... 

if (!directBuf.hasArray()) { //1 
int length = directBuf.readableBytes();//2 
byte[] array = new byte[length]; //3 
directBuf.getBytes(directBuf.readerIndex(), array); //4 
handleArray(array, 0, length); //5 


1.724 ByteBuf 是 不 是 由 数组 支持 。 如 果 不 是 ， 这 是 一 个 直接 缓冲 区 。 

2. 获 取 可 读 的 字 节 数 

3. 分 配 一 个 新 的 数组 来 保存 字 节 

4. 字 节 复 制 到 数组 

5. 将 数组 ， 偏 移 量 和 长 度 作 为 参数 调用 某 些 处 理 方法 

显然 ， 这 上 比 使 用 数组 要 多 做 一 些 工作 。 因 此 ， 如 果 你 事前 就 知道 容器 里 的 数据 将 作为 一 个 数 
组 被 访问 ， 你 可 能 更 愿意 使 用 堆 内 存 。 


COMPOSITE BUFFER( 复 合 缓冲 区 ) 


最 后 一 种 模式 是 复合 缓冲 区 ， 我 们 可 以 创建 多 个 不 同 的 ByteBuf， 然 后 提供 一 个 这 些 ByteBuf 
组 合 的 视图 。 复 合 缓冲 区 就 像 一 个 列表 ， 我 们 可 以 动态 的 添加 和 删除 其 中 的 ByteBuf > JDK 
的 ByteBuffer 没有 这 样 的 功能 。 

Netty 提供 了 ByteBuf 的 子 类 CompositeByteBuf 类 来 处 理 复 合 缓冲 区 ，CompositeByteBuf 
只 是 一 个 视图 。 


BE 
警告 


CompositeByteBuf.hasArray() 总 是 返回 Jalse， 因 为 它 可 能 既 包 含 堆 缓冲 区 ， 也 包含 直接 缓冲 
区 


例如 ， 一 条 消息 由 header 和 body 两 部 分 组 成 ， 将 header 和 body 组 装 成 一 条 消息 发 送出 
去 ， 可 能 body 相同 ， 只 是 header 不 同 ， 使 用 CompositeByteBuf 就 不 用 每 次 都 重新 分 配 一 
个 新 的 缓冲 区 。 下 图 显示 CompositeByteBuf 组 成 header 和 body : 


Figure 5.2 CompositeByteBuf holding a header and body 


CompositeByteBuf 





下 面 代码 显示 了 使 用 JDK 的 ByteBuffer 的 一 个 实现 。 两 个 ByteBuffer 的 数组 创建 保存 消息 的 
组 件 ， 第 三 个 创建 用 于 保存 所 有 数据 的 副本 。 


Listing 5.3 Composite buffer pattern using ByteBuffer 


// 使 用 数组 保存 消息 的 各 个 部 分 
ByteBuffer[] message = { header, body }; 


// 使 用 副本 来 合并 这 两 个 部 分 

ByteBuffer message2 = ByteBuffer.allocate( 
header.remaining() + body.remaining()); 

message2.put(header ); 

message2.put (body); 

message2.flip(); 


这 种 做 法 显然 是 低 效 的 ;分 配 和 复制 操作 不 是 最 优 的 方法 ， 操 纵 数 组 使 代码 显得 很 策 拙 。 
下 面 看 使 用 CompositeByteBuf 的 改进 版 本 


Listing 5.4 Composite buffer pattern using CompositeByteBuf 


CompositeByteBuf messageBuf = ...; 

ByteBuf headerBuf = ...; // 可 以 支持 或 直接 
ByteBuf bodyBuf = ...; // 可 以 支持 或 直接 
messageBuf .addComponents(headerBuf, bodyBuf); 
WUE akai 

messageBuf.removeComponent(0); // 移 除 头 1/2 


for (int i = 0; i < messageBuf.numComponents(); i++) { //3 
System.out.println(messageBuf.component(i).toString()); 


} 


1. 追 加 ByteBuf 实例 的 CompositeByteBuf 
2. 删 除 索引 1 的 ByteBuf 
3. 遍 历 所 有 ByteBuf 实例 。 


清单 5.4 所 示 ， 你 可 以 简单 地 把 CompositeByteBuf 当 作 一 个 可 迭代 遍历 的 容器 。 
CompositeByteBuf 不 允许 访问 其 内 部 可 能 存在 的 支持 数组 ， 也 不 允许 直接 访问 数据 ， 这 一 点 
类 似 于 直接 缓冲 区 模式 ， 如 图 5.5 所 示 。 


Listing 5.5 Access data 


CompositeByteBuf compBuf = ...; 
int length = compBuf.readableBytes(); //1 
byte[] array = new byte[length]; //2 


compBuf.getBytes(compBuf.readerIndex(), array); //3 
handleArray(array, 0, length); //4 

1. 得 到 的 可 读 的 字 节 数 。 

2. 分 配 一 个 新 的 数组 ,数组 长 度 为 可 读 字 节 长 度 。 

3. 读 取 字 节 到 数组 

4. 使 用 数组 ， 把 偏 移 量 和 长 度 作 为 参数 


Netty 尝试 使 用 CompositeByteBuf 优化 socket I/O 操作 ， 消 除 原生 JDK 中 可 能 存在 的 的 性 
能 低 和 内 存 消耗 问题 。 虽 然 这 是 在 Netty 的 核心 代码 中 进行 的 优化 ， 并 且 是 不 对 外 暴露 的 ， 但 
是 作为 开发 者 还 是 应 该 意识 到 其 影响 。 


CompositeByteBuf API 


CompositeByteBuf 提供 了 大 量 的 附加 功能 超出 了 它 所 继承 的 ByteBuf 。 请 参阅 的 Netty 的 
Javadoc 文档 API ° 


MN 4 
字 节 级 别 的 操作 
除了 基本 的 读 写 操作 ，ByteBuf 还 提供 了 它 所 包含 的 数据 的 修改 方法 。 


随机 访问 索引 
ByteBuf 使 用 zero-based 的 indexing( 从 0 开始 的 索引 )， 第 一 个 字 节 的 索引 是 0， 最 后 一 个 字 


节 的 索引 是 ByteBuf 的 capacity - 1， 下 面 代码 是 遍历 ByteBuf 的 所 有 字 节 : 


Listing 5.6 Access data 


ByteBuf buffer = ...; 

for (int i = 0; i < buffer.capacity(); i++) { 
byte b = buffer.getByte(i); 
System.out.println((char) b); 


注意 通过 索引 访问 时 不 会 推进 readerlndex 〈 读 索引 ) 和 writerlndex (5 € 51) ， 我 们 可 以 
通过 ByteBuf 的 readerlndex(index) 或 writerlndex(index) 来 分 别 推进 读 索 引 或 写 索引 


顺序 访问 索引 


ByteBuf 提供 两 个 指针 变量 支付 读 和 写 操 作 ， 读 操作 是 使 用 readerlndex()， 写 操作 时 使 用 
writerlndex()。 这 和 JDK 的 ByteBuffer 不 同 ，ByteBuffer 只 有 一 个 方法 来 设置 索引 ， 所 以 需要 使 
用 flip) 方法 来 切换 读 和 写 模 式 。 


ByteBuf 一 定 符合 : 0 <= readerlndex <= writerlndex <= capacity ° 


Figure 5.3 ByteBuf internal segmentation 


readable bytes 


discardable bytes (CONTENT) writable bytes 





0 <= readerindex <= writerlndex <= capacity 
1. 字 节 ， 可 以 被 丢弃 ， 因 为 它们 已 经 被 读 


2. 还 没有 被 读 的 字 节 是 : "readable bytes (可 读 字 节 ) 


3. 空 间 可 加 入 多 个 字 节 的 是 “writeable bytes (写字 节 ) ” 


标 有 “可 丢弃 字 节 ”的 段 包 含 已 经 被 读 取 的 字 节 。 他 们 可 以 被 丢弃 ， 通 过 调用 
discardReadBytes() 来 回收 空间 。 这 个 段 的 初始 大 小 存储 在 readerIndex， 为 0， 当 “read” 操 作 
被 执行 时 递增 (“get 操作 不 会 移动 readerindex) ° 


图 5.4 示 出 了 在 图 5.3 中 的 缓冲 区 中 调用 discardReadBytes() 所 示 的 结果 。 你 可 以 看 到 ， 在 丢 
弃 字 节 段 的 空间 已 变 得 可 用 写 。 需 要 注意 的 是 不 能 保证 对 可 写 的 段 之 后 的 内 容 在 
discardReadBytes() 方法 之 后 已 经 被 调用 。 


Figure 5.4 ByteBuf after discarding read bytes. 





readable bytes writable bytes 
(CONTENT) (just expanded) 
readerindex <= writerindex <= capacity 
(= 0) (decreased) 


1. 字 节 尚 未 被 读 出 (readerlndex 现在 0) » 2. 可 用 的 空间 ， 由 于 空间 被 回收 而 增 大 。 


ByteBuf.discardReadBytes() 可 以 用 来 清空 ByteBuf 中 已 读 取 的 数据 ， 从 而 使 ByteBuf 有 多 
余 的 空间 容纳 新 的 数据 ， 但 是 discardReadBytes() 可 能 会 涉及 内 存 复 制 ， 因 为 它 需 要 移动 
ByteBuf 中 可 读 的 字 节 到 开始 位 置 ， 这 样 的 操作 会 影响 性 能 ， 一 般 在 需要 马上 释放 内 存 的 时 候 
使 用 收益 会 比较 大 。 


可 读 字 节 


ByteBuf 的 “可 读 字 节 ”分 段 存储 的 是 实际 数据 。 新 分 配 ， 包 装 ， 或 复制 的 缓冲 区 的 
readerlndex 的 默认 值 为 0。 任何 操作 ， 其 名 称 以 "read" X "skip" 开头 的 都 将 检索 或 跳 过 该 
数据 在 当前 readerlndex ， 并 且 通 过 读 取 的 字 节 数 来 递增 。 


如 果 所 谓 的 读 操作 是 一 个 指定 ByteBuf 参数 作为 写 入 的 对 象 ， 并 且 没有 一 个 目标 索引 参数 ， 
目标 缓冲 区 的 writerlndex 也 会 增加 了 。 例 如 : 


readBytes(ByteBuf dest); 


如 果 试 图 从 缓冲 器 读 取 已 经 用 尽 的 可 读 的 字 节 ， 则 抛 出 IndexOutOfBoundsException。 清 单 
5.85; T 如 何 读 取 所 有 可 读 字 节 


Listing 5.7 Read all data 


// 遍 历 缓冲 区 的 可 读 字 节 

ByteBuf buffer= ...; 

while (buffer.isReadable()) { 
System.out.println(buffer.readByte()); 


} 


这 段 是 未 定义 内 容 的 地 方 ， 准 备 好 写 。 一 个 新 分 配 的 缓冲 区 的 writerlndex 的 默认 值 是 0。 任 
何 操作 ， 其 名 称 "write" 开 头 的 操作 在 当前 的 writerlndex 写 入 数据 时 ， 递 增 字 节 写 入 的 数量 。 
如 果 写 操作 的 目标 也 是 ByteBuf ， 且 未 指定 源 索 引 ， 则 源 缓冲 区 的 readerlndex 将 增加 相同 
的 量 。 例 如 : 


writeBytes(ByteBuf dest); 


如 果 试 图 写 入 超出 目标 的 容量 ， 则 抛 出 IndexOutOfBoundException ° 
下 面 的 例子 展示 了 填充 随机 整数 到 缓冲 区 中 ， 直 到 耗 尽 空 间 。 该 方法 writableBytes() 被 用 在 这 
里 确定 是 否 存在 足够 的 缓冲 空间 。 
Listing 5.8 Write data 
// 填 充 随机 整数 到 缓冲 区 中 
ByteBuf buffer = ...; 


while (buffer.writableBytes() >= 4) ( 
buffer .writeInt(random.nextInt()); 


) 
索引 管理 


在 JDK 的 InputStream 定义 了 mark(int readlimit) 和 reset() 方 法 。 这 些 是 分 别 用 来 标记 流 中 
的 当前 位 置 和 复位 流 到 该 位 置 。 


同样 ， 您 可 以 设置 和 重新 定位 ByteBuf readerlndex 和 writerlndex 通过 调用 
markReaderlndex(), markWriterlndex(), resetReaderlndex() 和 resetWriterIndex()°。 这 些 类 似 
于 InputStream 的 调用 ， 所 不 同 的 是 ， 没 有 readlimit 参数 来 指定 当 标志 变 为 无 效 。 


您 也 可 以 通过 调用 readerlndex(int) 或 writerlndex(int) 将 指标 移动 到 指定 的 位 置 。 在 尝试 任何 
无 效 位 置 上 设置 一 个 索引 将 导致 IhdexOutOfBoundsException A% ° 


调用 clear() 可 以 同时 设置 readerlndex 和 writerlndex 为 0。 注意 ， 这 不 会 清除 内 存 中 的 内 
容 。 让 我 们 看 看 它 是 如 何 工 作 的 。 (图 5.5 图 重复 5.3 ) 


Figure 5.5 Before clear() is called 


readable bytes writable bytes 


(CONTENT) 





0 <= readerindex <= writerIndex <= capacity 


一 一 一 一 = . as al 


调用 之 前 ， 包 含 3 个 段 ， 下 面 显示 了 调用 之 后 


Figure 5.6 After clear() is called 


writable bytes 


0 = writerindex = readerindex <= capacity 


现在 整个 ByteBuf 空间 都 是 可 写 的 了 。 


clear() 比 discardReadBytes() 更 低 成 本 ， 因 为 他 只 是 重 置 了 索引 ， 而 没有 内 存 拷贝 。 


查询 操作 


有 几 种 方法 ， 以 确定 在 所 述 缓冲 器 中 的 指定 值 的 索引 。 最 简单 的 是 使 用 indexOf() 方法 。 更 复 
杂 的 搜索 执行 以 ByteBufProcessor 为 参数 的 方法 。 这 个 接口 定义 了 一 个 方法 ，boolean 
process(byte value)， 它 用 来 报告 输入 值 是 否 是 一 个 正在 寻求 的 值 。 


ByteBufProcessor 定义 了 很 多 方便 实现 共同 目标 值 。 例 如 ， 假 设 您 的 应 用 程序 需要 集成 所 谓 
的 “Flash sockets”， 将 使 用 NULL 结尾 的 内 容 。 调 用 


forEachByte (ByteBufProcessor.FIND NUL) 


通过 减少 的 ， 因 为 少量 的 “边界 检查 "的 处 理 过 程 中 执行 了 ， 从 而 使 消耗 Flash 数据 变 得 编码 
工作 量 更 少 、 效 率 更 高 。 
下 面 例子 展示 了 寻找 一 个 回 车 符 ，\ r 的 一 个 例子 。 


Listing 5.9 Using ByteBufProcessor to find \r 


ByteBuf buffer = ...; 
int index = buffer. forEachByte(ByteBufProcessor.FIND_CR); 


衍生 的 缓冲 区 


“衍生 的 缓冲 区 ?是 代表 一 个 专门 的 展示 ByteBuf 内 容 的 “视图 "。 这 种 视图 是 由 duplicate(), 
slice(), slice(int, int),readOnly(), 和 order(ByteOrder) 方法 创建 的 。 所 有 这 些 都 返回 一 个 新 的 
ByteBuf 实例 包括 它 自己 的 reader writer 和 标记 索引 。 然 而 ， 内 部 数据 存储 共享 就 像 在 一 个 
NIO 的 ByteBuffer。 这 使 得 衍生 的 缓冲 区 创建 、 修 改 其 内 容 ， 以 及 修改 其 “ 源 " 实 例 更 廉价 。 


ByteBuf £i V 


如 果 需 要 已 有 的 缓冲 区 的 全 新 副本 ， 使 用 copy) 或 者 copy(int, int): 7R FIER 9E DP > 3X 
个 调用 返回 的 ByteBuf 有 数据 的 独立 副本 。 


若 需 要 操作 某 段 数据 ， 使 用 slice(int, int)， 下 面 展示 了 用 法 : 


Listing 5.10 Slice a ByteBuf 


Charset utf8 = Charset.forName("UTF-8"); 
ByteBuf buf = Unpooled.copiedBuffer("Netty in Action rocks!", utf8); //1 


ByteBuf sliced = buf.slice(0, 14); //2 
System.out.println(sliced.toString(utf8)); //3 


buf.setByte(0, (byte) 'J'); //4 
assert buf.getByte(0) == sliced.getByte(0); 
1. 创 建 一 个 ByteBuf 保存 特定 字 节 串 。 
2. 创 建 从 索引 0 开始 ， 并 在 14 结束 的 ByteBuf 的 新 slice。 
3. 打 印 Netty in Action 
4. 更 新 索引 0 的 字 节 。 
5. 断 言 成 功 ， 因 为 数据 是 共享 的 ， 并 以 一 个 地 方 所 做 的 修改 将 在 其 他 地 方 可 见 。 
下 面 看 下 如 何 将 一 个 ByteBuf 段 的 副本 不 同 于 slice 。 


Listing 5.11 Copying a ByteBuf 


Charset utf8 = Charset.forName("UTF-8"); 


ByteBuf buf = Unpooled.copiedBuffer("Netty in Action rocks!", utf8); //1 
ByteBuf copy - buf.copy(0, 14); //2 
System.out.println(copy.toString(utf8)); //3 
buf.setByte(0, (byte) 'J'); //4 


assert buf.getByte(0) != copy.getByte(0); 


1. 创 建 一 个 ByteBuf 保存 特定 字 节 串 。 


2. 创 建 从 索引 0 开始 和 14 结束 的 ByteBuf 的 段 的 拷贝 。 


3. 打 印 Netty in Action 
4. 更 新 索引 00 FF © 
5. 断 言 成 功 ， 因 为 数据 不 是 共享 的 ， 并 以 一 个 地 方 所 做 的 修改 将 不 影响 其 他 。 


代码 几乎 是 相同 的 ， 但 所 衍生 的 ByteBuf 效果 是 不 同 的 。 因 此 ， 使 用 一 个 slice 可 以 尽 可 能 避 
免 复制 内 存 。 


读 / 写 操作 
读 / 写 操作 主要 由 2 类 : 


© gget()/set() 操作 从 给 定 的 索引 开始 ， 保 持 不 变 
e read()/write() 操作 从 给 定 的 索引 开始 ， 与 字 节 访问 的 数量 来 适用 ， 递 增 当 前 的 写 索引 或 
读 索 引 


ByteBuf 的 各 种 读 写 方法 或 其 他 一 些 检查 方法 可 以 看 ByteBuf 的 API， 下 面 是 常见 的 get() 操 
TES 


Table 5.1 get() operations 


方法 名 称 首 述 
getBoolean(int) 返回 当前 索引 的 Boolean 值 
当前 索引 的 (无 符号 ) 字 节 


回 

getByte(int) getUnsignedByte(int) 返回 

getMedium(int) getUnsignedMedium(int) 返回 当前 索引 的 (无 符号 ) 24-bit 中 间 值 
回 
回 
可 





getInt(int) getUnsignedInt(int) 返回 当前 索引 的 (无 符号 ) EM 
getLong(int) getUnsignedLong(int) 返回 当前 索引 的 =) Long 型 
getShort(int) getUnsignedShort(int) 返回 当前 索引 的 (无 符号 ) Short 型 
getBytes(int, ...) 字 节 

常见 set() 操作 如 下 


Table 5.2 set() operations 


方法 名 称 首 述 


setBoolean(int, boolean) 在 指定 的 索引 位 置 设 置 Boolean 值 
setByte(int, int) 在 指定 的 索引 位 置 设 置 byte 值 
setMedium(int, int) 在 指定 的 索引 位 置 设 置 24-bit 中 间 值 
setint(int, int) 在 指定 的 索引 位 置 设置 int 值 
setLong(int, long) 在 指定 的 索引 位 置 设 置 long 值 
setShort(int, int) 在 指定 的 索引 位 置 设 置 short 值 

下 面 是 用 法 : 


Listing 5.12 get() and set() usage 


Charset utf8 = Charset.forName("UTF-8"); 


ByteBuf buf = Unpooled.copiedBuffer("Netty in Action rocks!", utf8); //1 
System.out.println((char)buf.getByte(0)); //2 
int readerIndex - buf.readerIndex(); //3 


int writerIndex = buf.writerIndex(); 


buf.setByte(0, (byte)'B'); //4 
System.out.println((char)buf.getByte(0)); //5 
assert readerIndex -- buf.readerIndex(); //6 
assert writerIndex == buf.writerIndex(); 


1. 创 建 一 个 新 的 ByteBuf 给 指定 String 保存 字 节 
2. 打 印 的 第 一 个 字符 ， N 

3. 存 储 当 前 readerlndex 和 writerlndex 
4. 更 新 索引 0 的 字符 B 

5. 打 印 出 的 第 一 个 字符 ， 现 在 B 

6. 这 些 断 言 成 功 ， 因 为 这 些 操作 永远 不 会 改变 索引 


现在 ， 让 我 们 来 看 看 read() 操作 ， 对 当前 readerlndex 或 writerlndex 进行 操作 。 这 些 用 于 从 
ByteBuf 读 取 就 好 像 它 是 一 个 流 。 (对 应 的 ”write() 操作 用 于 “追加 ”到 ByteBuf ) 。 下 面 
展示 了 常见 的 ”read() 方法 。 


Table 5.3 read() operations 


方法 名 称 
readBoolean() 


readByte() 
readUnsignedByte() 


readMedium() 
readUnsignedMedium() 


readInt() 
readUnsignedInt() 


readLong() 
readUnsignedLong() 


readShort() 
readUnsignedShort() 


readBytes(int,int, ...) 


每 个 


Table 5.4 Write operations 


方法 名 称 


writeBoolean(boolean) 


writeByte(int) 


writeMedium(int) 


writelnt(int) 


writeLong(long) 


writeShort(int) 


writeBytes(int ，.…) 


首 述 


Reads the Boolean value at the current readerlndex and 


increases the readerlndex by 1. 


Reads the (unsigned) byte value at the current 
readerlndex and increases the readerlndex by 1. 


Reads the (unsigned) 24-bit medium value at the current 
readerlndex and increases the readerlndex by 3. 


Reads the (unsigned) int value at the current 
readerlndex and increases the readerlndex by 4. 


Reads the (unsigned) int value at the current 
readerlndex and increases the readerlndex by 8. 


Reads the (unsigned) int value at the current readerlndex 


and increases the readerlndex by 2. 


Reads the value on the current readerlndex for the given 
length into the given object. Also increases the 
readerlndex by the length. 


read() 方法 都 对 应 一 个 write()。 


首 述 


Writes the Boolean value on the current writerlndex and 
increases the  writerlndex by 1. 


Writes the byte value on the current writerlndex and 
increases the  writerlndex by 1. 


Writes the medium value on the current writerlndex and 
increases the  writerlndex by 3. 


Writes the int value on the current writerlndex and 
increases the  writerlndex by 4. 


Writes the long value on the current writerlndex and 
increases the  writerlndex by 8. 


Writes the short value on the current writerlndex and 
increases thewriterlndex by 2. 


Transfers the bytes on the current writerlndex from given 
resources. 


Listing 5.13 read()/write() operations on the ByteBuf 


Charset utf8 = Charset.forName("UTF-8"); 


ByteBuf buf = Unpooled.copiedBuffer("Netty in Action rocks!", utf8); //1 
System.out.println((char)buf.readByte()); //2 

int readerIndex = buf.readerIndex(); //3 

int writerIndex = buf.writerIndex(); //4 
buf.writeByte((byte)'?'); //5 

assert readerIndex -- buf.readerIndex(); 

assert writerIndex !- buf.writerIndex(); 


1.6] 32 — 4-31 8 ByteBuf 保存 给 定 String 的 字 节 。 
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3. 存 储 当 前 的 readerlndex 


4. 保 存 当 前 的 writerlndex 


5. 更 新 索引 0 的 字符 B 


6. 此 断言 成 功 ， 因 为 writeByte() Æ 5 移动 了 writerlndex 


更 多 操作 


Table 5.5 Other useful operations 


方法 名 称 
isReadable() 
isWritable() 
readableBytes() 
writablesBytes() 


capacity() 


maxCapacity() 
hasArray() 


array() 


首 述 
Returns true if at least one byte can be read. 
Returns true if at least one byte can be written. 
Returns the number of bytes that can be read. 
Returns the number of bytes that can be written. 


Returns the number of bytes that the ByteBuf can hold. After this it 
will try to expand again until maxCapacity() is reached. 


Returns the maximum number of bytes the ByteBuf can hold. 
Returns true if the ByteBuf is backed by a byte array. 


Returns the byte array if the ByteBuf is backed by a byte array, 
otherwise throws an 


UnsupportedOperationException. 


字 节 级 别 的 操作 
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ByteBufHolder 


我 们 经 常 遇 到 需要 另外 存储 除 有 效 的 实际 数据 各 种 属性 值 。HTTP 响应 是 一 个 很 好 的 例子 ; 
与 内 容 一 起 的 字 节 的 还 有 状态 码 , cookies, 等 。 


Netty 提供 ByteBufHolder 处 理 这 种 常见 的 情况 。 ByteBufHolder 还 提供 对 于 Netty 的 高 级 功 
能 ， 如 缓冲 池 ， 其 中 保存 实际 数据 的 ByteBuf 可 以 从 池 中 借用 ， 如 果 需 要 还 可 以 自动 释放 。 


ByteBufHolder 有 那么 几 个 方法 。 到 底层 的 这 些 支 持 接 入 数据 和 引用 计数 。 表 5.7 所 示 的 方法 
(忽略 了 那些 从 继承 ReferenceCounted 的 方法 ) 。 


Table 5.7 ByteBufHolder operations 


AL 
BE 


名 称 
data() 返回 ByteBuf 保存 的 数据 
copy() 制作 一 个 ByteBufHolder 的 拷贝 ， 但 不 共享 其 数据 (所 以 数据 也 是 拷贝 ). 


如 果 你 想 实 现 一 个 “消息 对 象 " 有 效 负 载 存 储 在 ByteBuf， 使 用 ByteBufHolder 是 一 个 好 主意 。 


ByteBuf 分 配 
本 节 介 绍 ByteBuf 实例 管理 的 几 种 方式 : 


ByteBufAllocator 


为 了 减少 分 配 和 释放 内 存 的 开销 ，Netty 通过 支持 池 类 ByteBufAllocator， 可 用 于 分 配 的 任何 
ByteBuf 我 们 已 经 描述 过 的 类 型 的 实例 。 是 否 使 用 池 是 由 应 用 程序 决定 的 ， 表 5.8 列 出 了 
ByteBufAllocator 提供 的 操作 。 


Table 5.8 ByteBufAllocator methods 


A VES 


Return a ByteBuf with heap- 


paler DUMON TS tat nt) based or direct data storage. 


Return a ByteBuf with heap- 


heapBuffer() heapBuffer(int) heapBuffer(int, int) based storage 


directBuffer() directBuffer(int) directBuffer(int, int) Return a ByteBuf with direct 


storage. 
compositeBuffer() compositeBuffer(int) Return a CompositeByteBuf that 
heapCompositeBuffer() heapCompositeBuffer(int) can be expanded by adding 
directCompositeBuffer()directCompositeBuffer(int) heapbased or direct buffers. 
Return a ByteBuf that will be 
ioBuffer() used for I/O operations on a 
socket. 


通过 一 些 方法 接受 整 型 参数 允许 用 户 指定 ByteBuf 的 初始 和 最 大 容量 值 。 你 可 能 还 记得 ， 
ByteBuf 存储 可 以 扩大 到 其 最 大 容量 。 


得 到 一 个 ByteBufAllocator 的 引用 很 简单 。 你 可 以 得 到 从 Channel (在 理论 上 ， 每 Channel 
可 具有 不 同 的 ByteBufAllocator ) ， 或 通过 绑 定 到 的 ChannelHandler 的 
ChannelHandlerContext 得 到 它 ， 用 它 实 现 了 你 数据 处 理 逻 辑 。 


下 面 的 列表 说 明 获 得 ByteBufAllocator 的 两 种 方式 。 


Listing 5.15 Obtain ByteBufAllocator reference 


Channel channel = ...; 
ByteBufAllocator allocator = channel.alloc(); //1 


ChannelHandlerContext ctx = ...; 
ByteBufAllocator allocator2 = ctx.alloc(); //2 


+ 48 


1.4 channel 获得 ByteBufAllocator 


+ 48 


2.44 ChannelHandlerContext 3X 4 ByteBufAllocator 


Netty 提供 了 两 种 ByteBufAllocator 的 实现 ， 一 种 是 PooledByteBufAllocator, 用 ByteBuf 实例 

池 改 进 性 能 以 及 内 存 使 用 降 到 最 低 ， 此 实现 使 用 一 个 jemalloc" 内 存 分 配 。 其 他 的 实现 不 池 化 

ByteBuf 情况 下 ， 每 次 返回 一 个 新 的 实例 。 

Netty 默认 使 用 PooledByteBufAllocator， 我 们 可 以 通过 ChannelConfig 或 通过 引导 设置 一 个 
不 同 的 实现 来 改变 。 更 多 细节 在 后 面 讲 述 ， 见 Chapter 9, "Bootstrapping Netty Applications" 


Unpooled ( 非 池 化 ) HF 


当 未 引用 ByteBufAllocator 时 ， 上 面 的 方法 无 法 访问 到 ByteBuf。 对 于 这 个 用 例 Netty 提供 一 
个 实用 工具 类 称 为 Unpooled,， 它 提供 了 静态 辅助 方法 来 创建 非 池 化 的 ByteBuf 实例 。 表 5.9 
列 出 了 最 重要 的 方法 

Table 5.9 Unpooled helper class 


名 称 首 述 


Returns an unpooled ByteBuf with heap- 


buffer() buffer(int) buffer(int, int) based storage 


directBuffer() directBuffer(int) Returns an unpooled ByteBuf with direct 
directBuffer(int, int) storage 

wrappedBuffer() — a ByteBuf, which wraps the given 
copiedBuffer() Returns a ByteBuf, which copies the given 


data 

在 非 联网 项 目 ， 该 Unpooled 类 也 使 得 它 更 容易 使 用 的 ByteBuf API， 获 得 一 个 高 性 能 的 可 扩 
展 缓冲 API， 而 不 需要 Netty 的 其 他 部 分 的 。 

ByteBufUtil 


ByteBufUtil 静态 辅助 方法 来 操作 ByteBuf， 因 为 这 个 API 是 通用 的 ， 与 使 用 池 无 关 ， 这 些 方 
法 已 经 在 外 面 的 分 配 类 实现 。 


也 许 最 有 价值 的 是 hexDump() 方法 ， 这 个 方法 返回 指定 ByteBuf 中 可 读 字 节 的 十 六 进 制 字符 
串 ， 可 以 用 于 调试 程序 时 打印 ByteBuf 的 内 容 。 一 个 典型 的 用 途 是 记录 一 个 ByteBuf 的 内 容 
进行 调试 。 十 六 进 制 字符 串 相 比 字 节 而 言 对 用 户 更 友好 。 而 且 十 六 进 制版 本 可 以 很 容易 地 转 
换 回 实际 字 节 表示 。 


另 一 个 有 用 方法 是 使 用 boolean equals(ByteBuf, ByteBuf), 用 来 比较 ByteBuf 实例 是 否 相 等 。 
在 实现 自己 ByteBuf 的 子 类 时 经 常用 到 。 


~ X au 
引用 计数 器 
Netty 4 引入 了 引用 计数 器 给 ByteBuf 和 ByteBufHolder (两 者 都 实现 了 ReferenceCounted 
接口 ) 


引用 计数 本 身 并 不 复杂 ; 它 在 特定 的 对 象 上 跟踪 引用 的 数目 。 实 现 了 ReferenceCounted 的 类 

的 实例 会 通常 开始 于 一 个 活动 的 引用 计数 器 为 1。 活动 的 引用 计数 器 大 于 0 的 对 象 被 保证 不 被 
释放 。 当 数量 引用 减少 到 0， 该 实例 将 被 释放 。 需 要 注意 的 是 “释放 ”的 语义 是 特定 于 具体 的 实 
现 。 最 起 码 ， 一 个 对 象 ， 它 已 被 释放 应 不 再 可 用 。 


这 种 技术 就 是 诸如 PooledByteBufAllocator 这 种 减少 内 存 分 配 开 销 的 池 化 的 精髓 部 分 。 


Listing 5.16 Reference counting 


Channel channel = ...; 
ByteBufAllocator allocator = channel.alloc(); //1 


ByteBuf buffer = allocator.directBuffer(); //2 
assert buffer.refCnt() == 1; //3 


1. 从 channel 获取 ByteBufAllocator 
2. 从 ByteBufAllocator 分 配 一 个 ByteBuf 
3. 检 查 引 用 计数 器 是 否 是 1 


Listing 5.17 Release reference counted object 


ByteBuf buffer = ...; 
boolean released = buffer.release(); //1 


1.release () 将 会 递减 对 象 引 用 的 数目 。 当 这 个 引用 计数 达到 0 时 ， 对 象 已 被 释放 ， 并 且 该 方 
法 返回 true。 


如 果 尝 试 访问 已 经 释放 的 对 象 ， 将 会 抛 出 lllegalReferenceCountException 异常 。 


需要 注意 的 是 一 个 特定 的 类 可 以 定义 自己 独特 的 方式 其 释放 计数 的 “规则 ”。 例如 ，release() 
可 以 将 引用 计数 器 直接 计 为 0 而 不 管 当 前 引用 的 对 象 数目 。 


谁 负责 release ? 


在 一 般 情 况 下 ， 最 后 访问 的 对 象 负 责 释 放 它 。 在 第 6 章 我 们 会 解释 ChannelHandler 和 
ChannelPipeline 的 相关 概念 。 


& 


A 
这 一 章 专门 讨论 了 Netty 基于 ByteBuf 的 数据 容器 。 我 们 开始 说 明了 Netty % JDK 更 多 的 优 
点 。 我 们 还 突出 适合 具体 情况 的 API 的 可 用 变型 。 


在 下 一 章 中 ， 重 点 是 ChannelHandler， 它 提供 了 数据 处 理 逻 辑 的 载体 。 ChannelHandler 大 
量 使 用 了 ByteBuf ^ 


ChannelHandler 和 ChannelPipeline 


本 章 主要 内 容 


e Channel 

e ChannelHandler 

e ChannePipeline 

e ChannelHandlerContext 


我 们 在 上 一 章 研究 的 ByteBuf 是 一 个 用 来 “包装 "数据 的 容器 。 在 本 章 我 们 将 探讨 这 些 容器 是 如 
何在 应 用 程序 中 进行 传输 的 ， 以 及 如 何 处 理 它们 “包装 "的 数据 。 

Netty 在 这 方面 提供 了 强大 的 支持 。 它 让 Channelhandler 链接 在 ChannelPipeline 上 使 数据 处 
理 更 加 灵活 和 模块 化 。 

在 这 一 章 中 ， 下 面 我 们 会 遇 到 各 种 各 样 Channelhandler，ChannelPipeline 的 使 用 案例 ， 以 及 


重要 的 相关 的 类 Channelhandlercontext 。 我 们 将 展示 如 何 将 这 些 基本 组 成 的 框架 可 以 帮助 我 
们 写 干 净 可 重用 的 处 理 实现 。 


ChannelHandler % 7% 


在 我 们 深入 研究 ChannelHandler 内 部 之 前 ， 让 我 们 花 几 分 钟 了 解 下 这 个 Netty 组 件 模型 的 基 
础 。 这 里 先 对 ChannelHandler 及 其 子 类 做 个 简单 的 介绍 。 
Channel 生命 周期 


Channel 有 个 简单 但 强大 的 状态 模型 ， 与 ChannellnboundHandler API 密切 相关 。 下 面 表格 
是 Channel 的 四 个 状态 


Table 6.1 Channel lifeycle states 
状态 uu 
channelUnregistered ”channel 已 创建 但 未 注册 到 一 个 EventLoop. 


channelRegistered channel 注册 到 一 个 EventLoop. 
太 92 Eds MATUR 2 
he channel 变 为 活跃 状态 (连接 到 了 远程 主机 )， 现 在 可 以 接收 和 发 
送 数据 了 
channellnactive channel 处 于 非 活 跃 状 态 ， 没 有 连接 到 远程 主机 


Channel 的 正常 的 生命 周期 如 下 图 ， 当 状态 出 现 变化 ， 就 会 触发 对 应 的 事件 ， 这 样 就 能 与 
ChannelPipeline 中 的 ChannelHandler 进 行 及 时 的 交互 。 


Figure 6.1 Channel State Model 






channelRegistered channelActive 


channelUnregistered Channellnactive 


ChannelHandler 生命 周期 


ChannelHandler 定义 的 生命 周期 操作 如 下 表 ， 当 ChannelHandler 添加 到 ChannelPipeline > 
或 者 从 ChannelPipeline 移 除 后 ， 对 应 的 方法 将 会 被 调用 。 每 个 方法 都 传 入 了 一 个 
ChannelHandlerContext 参数 


Table 6.2 ChannelHandler lifecycle methods 


类 型 ES 
handlerAdded 4 ChannelHandler 添加 到 ChannelPipeline 调用 
handlerRemoved 4 ChannelHandler 从 ChannelPipeline 移 除 时 调用 
exceptionCaught 4 ChannelPipeline 执行 抛 出 异常 时 调用 
ChannelHandler 子 接口 


Netty 提供 2 个 重要 的 ChannelHandler 子 接口 : 


e ChannellnboundHandler - 处 理 进 站 数据 和 所 有 状态 更 改 事件 
e ChannelOutboundHandler - 处 理 出 站 数据 ， 允 许 拦 截 各 种 操作 


ChannelHandler 适配器 


Netty 提供 了 一 个 简单 的 ChannelHandler 框架 实现 ， 给 所 有 声明 方法 签名 。 这 个 类 
ChannelHandlerAdapter 的 方法 ,主要 推送 事件 到 pipeline 下 个 ChannelHandler 直到 
pipeline 的 结束 。 这 个 类 也 作为 ChannellnboundHandlerAdapter 和 
ChannelOutboundHandlerAdapter 的 基础 。 所 有 三 个 适配器 类 的 目的 是 作为 自己 的 实现 的 起 
点 ;您 可 以 扩展 它们 , 履 盖 你 需要 自 定义 的 方法 。 


ChannellnboundHandler 


ChannellnboundHandler 的 生命 周期 方法 在 下 表 中 ， 当 接收 到 数据 或 者 与 之 关联 的 Channel 
状态 改变 时 调用 。 之 前 已 经 注意 到 了 ， 这 些 方 法 与 Channel 的 生命 周期 接近 


Table 6.3 ChannellnboundHandler methods 


Hs 


类 


channelRegistered 


channelUnregistered 


channelActive 


channellnactive 


channelReadComplete 


channelRead 


channelWritabilityChanged 


userEventTriggered(...) 


首 述 


Invoked when a Channel is registered to its EventLoop 
and is able to handle I/O. 


Invoked when a Channel is deregistered from its 
EventLoop and cannot handle any I/O. 


Invoked when a Channel is active; the Channel is 
connected/bound and ready. 


Invoked when a Channel leaves active state and is no 
longer connected to its remote peer. 


Invoked when a read operation on the Channel has 
completed. 


Invoked if data are read from the Channel. 


Invoked when the writability state of the Channel 
changes. The user can ensure writes are not done too 
fast (with risk of an OutOfMemoryError) or can resume 
writes when the Channel becomes writable 
again.Channel.isWritable() can be used to detect the 
actual writability of the channel. The threshold for 
writability can be set via 
Channel.config().setWriteHighWaterMark() and 
Channel.config().setWriteLowWaterMark(). 


Invoked when a user calls 
Channel.fireUserEventTriggered(...) to pass a pojo 
through the ChannelPipeline. This can be used to pass 
user specific events through the ChannelPipeline and so 
allow handling those events. 


i£ X > ChannellnboundHandler 实现 覆盖 了 channelRead() 方法 处 理 进 来 的 数据 用 来 响应 释 
放 资 源 。Netty 在 ByteBuf 上 使 用 了 资源 池 ， 所 以 当 执 行 释 放 资 源 时 可 以 减少 内 存 的 消耗 。 


Listing 6.1 Handler to discard data 


@ChannelHandler.Sharable 


public class DiscardHandler extends ChannelInboundHandlerAdapter { //1 


@Override 


public void channelRead(ChannelHandlerContext ctx, 


Object msg) { 


ReferenceCountUtil.release(msg); //2 


1.47 Æ ChannellnboundHandlerAdapter 


2.ReferenceCountUtil.release() 来 丢弃 收 到 的 信息 


Netty 用 一 个 WARN-level 日 志 条 目 记 录 未 释放 的 资源 ,使 其 能 相当 简单 地 找到 代码 中 的 违规 实 
例 。 然 而 ,由 于 手工 管理 资源 会 很 繁琐 ,您 可 以 通过 使 用 SimpleChannellnboundHandler 简化 
问题 。 如 下 : 


Listing 6.2 Handler to discard data 


@ChannelHandler.Sharable 
public class SimpleDiscardHandler extends SimpleChannelInboundHandler<Object> { //1 


@Override 
public void channelReadO(ChannelHandlerContext ctx, 


Object msg) { 
// No need to do anything special //2 


1.4" /& SimpleChannellnboundHandler 
2. 不 需 做 特别 的 释放 资源 的 动作 
注意 SimpleChannellnboundHandler 会 自动 释放 资源 ， 而 无 需 存储 任何 信息 的 引用 。 


ET 


$ £ if X, “Error! Reference source not found.." — 7? 


ChannelOutboundHandler 


ChannelOutboundHandler 提供 了 出 站 操作 时 调用 的 方法 。 这 些 方法 会 被 Channel， 
ChannelPipeline, 和 ChannelHandlerContext 调用 。 


ChannelOutboundHandler 另 个 一 个 强大 的 方面 是 它 具 有 在 请 求 时 延迟 操作 或 者 事件 的 能 力 。 
比如 ， 当 你 在 写 数据 到 remote peer 的 过 程 中 被 意外 暂停 ， 你 可 以 延迟 执行 刷新 操作 ， 然 后 
在 迟 些 时 候 继续 © 


下 面 显示 了 ChannelOutboundHandler 的 方法 (继承 自 ChannelHandler 未 列 出 来 ) 


Table 6.4 ChannelOutboundHandler methods 


bind Invoked on request to bind the Channel to a local address 
connect Invoked on request to connect the Channel to the remote peer 


disconnect Invoked on request to disconnect the Channel from the remote peer 


close Invoked on request to close the Channel 

deregister Invoked on request to deregister the Channel from its EventLoop 

read Invoked on request to read more data from the Channel 

flush Invoked on request to flush queued data to the remote peer through the 
Channel 

write Invoked on request to write data through the Channel to the remote peer 


几乎 所 有 的 方法 都 将 ChannelPromise 作为 参数 ,一 旦 请 求 结束 要 通过 ChannelPipeline 转发 
的 时 候 ， 必 须 通 知 此 参数 。 


ChannelPromise vs. ChannelFuture 


ChannelPromise 是 特殊 的 ChannelFuture， 允 许 你 的 ChannelPromise 及 其 操作 成 功 或 失 
败 。 所 以 任何 时 候 调 用 例如 Channel.write(...) 一 个 新 的 ChannelPromise 将 会 创建 并 且 通 过 
ChannelPipeline 传 递 。 这 次 写 操 作 本 身 将 会 返回 ChannelFuture ， 这 样 只 允许 你 得 到 一 次 操 
作 完 成 的 通知 。Netty 本 身 使 用 ChannelPromise 作为 返回 的 ChannelFuture 的 通知 ， 事 实 上 
在 大 多 数 时 候 就 是 ChannelPromise 自身 (ChannelPromise 扩展 了 ChannelFuture ) 


如 前 所 述 ,ChannelOutboundHandlerAdapter 提供 了 一 个 实现 了 ChannelOutboundHandler 所 
有 基本 方法 的 实现 的 框架 。 这 些 简 单 事件 转发 到 下 一 个 ChannelOutboundHandler 管道 通过 
调用 ChannelHandlerContext 相关 的 等 效 方法 。 你 可 以 根据 需要 自己 实现 想 要 的 方法 。 


资源 管理 
当 你 通过 ChannellnboundHandler.channelRead(...) 或 者 ChannelOutboundHandler.write(...) 
来 处 理 数据 ， 重 要 的 是 在 处 理 资 源 时 要 确保 资源 不 要 泄漏 。 


Netty 使 用 引用 计数 器 来 处 理 池 化 的 ByteBuf。 所 以 当 ByteBuf 完全 处 理 后 ， 要 确保 引用 计数 
器 被 调整 。 

引用 计数 的 权衡 之 一 是 用 户 时 必须 小 心 使 用 消息 。 当 JVM 仍 在 GC( 不 知道 有 这 样 的 消息 引用 
计数 ) 这 个 消息 ， 以 至 于 可 能 是 之 前 获得 的 这 个 消息 不 会 被 放 回 池 中 。 因 此 很 可 能 ,如 果 你 不 小 
心 释放 这 些 消息 ， 很 可 能 会 耗 尽 资源 。 

为 了 让 用 户 更 加 简单 的 找到 遗漏 的 释放 ，Netty 包含 了 一 个 ResourceLeakDetector ， 将 会 从 
已 分 配 的 缓冲 区 1% 作为 样品 来 检查 是 否 存 在 在 应 用 程序 泄漏 。 因 为 1% 的 抽样 ,开销 很 小 。 


对 于 检测 泄漏 ,您 将 看 到 类 似 于 下 面 的 日 志 消息 。 


LEAK: ByteBuf.release() was not called before it’s garbage-collected. Enable advanced 
leak reporting to find out where the leak occurred. To enable advanced 

leak reporting, specify the JVM option '-Dio.netty.leakDetectionLevel-advanced' or cal 
l ResourceLeakDetector.setLevel() 

Relaunch your application with the JVM option mentioned above, then you'll see the rec 
ent locations of your application where the leaked buffer was accessed. The following 
output shows a leak from our unit test (XmlFrameDecoderTest.testDecodeWithXmly()): 


Running io.netty.handler.codec.xml.XmlFrameDecoderTest 


15:03:36.886 [main] ERROR io.netty.util.ResourceLeakDetector - LEAK: 
ByteBuf.release() was not called before it's garbage-collected. 


Recent access records: 1 

#1: 

io.netty.buffer .AdvancedLeakAwareByteBuf .toString(AdvancedLeakAwareByteBuf . java: 697 ) 
io.netty.handler.codec.xml.XmlFrameDecoderTest.testDecodeWithXml(XmlFrameDecoderTest. j 
ava:157) 


io.netty.handler.codec.xml.XmlFrameDecoderTest.testDecodeWithTwoMessages (XmlFrameD 
ecoderTest.java:133) 


泄漏 检测 等 级 


Netty 现在 定义 了 四 种 泄漏 检测 等 级 ， 可 以 按 需 开启 ， 见 下 表 


Table 6.5 Leak detection levels 


Leve DISABLED 
Description 
| Leak detection completely. While this even eliminates the 1 % overhead 
Disables . | l 
you should only do this after extensive testing. 
Tells if a leak was found or not. Again uses the sampling rate of 1%, the 
SIMPLE 
default level and a good fit for most cases. 
ADVANCED Tells if a leak was found and where the message was accessed, using 


the sampling rate of 1%. 


Same as level ADVANCED with the main difference that every access is 
PARANOID sampled. This it has a massive impact on performance. Use this only in 
the debugging phase. 


修改 检测 等 级 ， 只 需 修 改 io.netty.leakDetectionLevel 系统 属性 ， 举 例 


# java -Dio.netty.leakDetectionLevel=paranoid 


这 样 ， 我 们 就 能 在 ChannellnboundHandler.channelRead(...) 和 
ChannelOutboundHandler.write(...) 避免 泄漏 。 


当 你 处 理 channelRead(...) 操作 ， 并 在 消费 消息 (不 是 通过 
ChannelHandlerContext.fireChannelRead(...) 来 传递 它 到 下 个 ChannellnboundHandler) 时 ， 
要 释放 它 ， 如 下 : 


Listing 6.3 Handler that consume inbound data 


@ChannelHandler.Sharable 
public class DiscardInboundHandler extends ChannelInboundHandlerAdapter { //1 


@Override 
public void channelRead(ChannelHandlerContext ctx, 
Object msg) { 
ReferenceCountUtil.release(msg); //2 


1. 继承 ChannellnboundHandlerAdapter 

2. 使 用 ReferenceCountUtil.release(...) 来 释放 资源 

所 以 记得 ， 每 次 处 理 消息 时 ， 都 要 释放 它 。 
SimpleChannellnboundHandler -消费 入 站 消息 更 容易 
使 用 入 站 数据 和 释放 它 是 一 项 常见 的 任务 ，Netty 为 你 提供 了 一 个 特殊 的 称 为 


SimpleChannellnboundHandler 的 ChannellnboundHandler 的 实现 。 该 实现 将 自动 释放 一 个 
消息 ,一旦 这 个 消息 被 用 户 通 过 channelRead0() 方法 消费 。 


当 你 在 处 理 写 操作 ， 并 丢弃 消息 时 ， 你 需要 释放 它 。 现 在 让 我 们 看 下 实际 是 如 何 操 作 的 。 
Listing 6.4 Handler to discard outbound data 


@ChannelHandler.Sharable public class DiscardOutboundHandler extends 
ChannelOutboundHandlerAdapter { //1 


@Override 
public void write(ChannelHandlerContext ctx, 
Object msg, ChannelPromise promise) { 
ReferenceCountUtil.release(msg); //2 
promise.setSuccess(); //3 


1. 继承 ChannelOutboundHandlerAdapter 
2. 使 用 ReferenceCountUtil.release(...) 来 释放 资源 
3. 通知 ChannelPromise 数据 已 经 被 处 理 


重要 的 是 ， 释 放 资 源 并 通知 ChannelPromise。 如 果 ，ChannelPromise 没有 被 通知 到 ， 这 可 
能 会 引发 ChannelFutureListener 不 会 被 处 理 的 消息 通知 的 状况 。 


所 以 ， 总 结 下 : 如 果 消 息 是 被 消耗 /丢弃 并 不 会 被 传 入 下 个 ChannelPipeline 的 
ChannelOutboundHandler ， 调 用 ReferenceCountUtil.release(message)。 一 旦 消息 经 过 实 
际 的 传输 ， 在 消息 被 写 或 者 Channel 关闭 时 ， 它 将 会 自动 释放 。 


ChannelPipeline 


ChannelPipeline z& — £ 7| 5; ChannelHandler 实例 ,用 于 拦截 流 经 一 个 Channel 的 入 站 和 出 站 
事件 ,ChannelPipeline 允 许 用 户 自己 定义 对 入 站 /出 站 事件 的 处 理 逻 辑 ， 以 及 pipeline 里 的 各 个 
Handler 之 间 的 交互 。 


每 一 次 创建 了 新 的 Channel ,都 会 新 建 一 个 新 的 ChannelPipeline 并 绑 定 到 Channel 上 。 这 个 关 
KÆ 永久 性 的 ;Channel 既 不 能 附 上 另 一 个 ChannelPipeline 也 不 能 分 离 当前 这 个 。 这 些 都 由 
Netty 负 责 完成 ,而 无 需 开 发 人 员 的 特别 处 理 。 

根据 它 的 起 源 ,一 个 事件 将 由 ChannellnboundHandler 或 ChannelOutboundHandler 处 理 。 随 
后 它 将 调用 ChannelHandlerContext 实现 转发 到 下 一 个 相同 的 超 类 型 的 处 理 程序 。 


ChannelHandlerContext 


一 个 ChannelHandlerContext 使 ChannelHandler 5 ChannelPipeline 和 其 他 处 理 程序 交 
互 。 一 个 处 理 程序 可 以 通知 下 一 个 ChannelPipeline 中 的 ChannelHandler 甚至 动态 修改 
ChannelPipeline 的 归属 。 


下 图 展示 了 用 于 入 站 和 出 站 ChannelHandler 的 典型 ChannelPipeline 布局 。 


ChannelPipeline 
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Figure 6.2 ChannelPipeline and ChannelHandlers 

上 图 说 明了 ChannelPipeline 主要 是 一 系列 ChannelHandler ° #4 3¢ ChannelPipeline 
ChannelPipeline 还 提供 了 方法 传播 事件 本 身 。 如 果 一 个 入 站 事件 被 触发 ， 它 将 被 传递 的 从 
ChannelPipeline 开始 到 结束 。 举 个 例子 ,在 这 个 图 中 出 站 1/0 事件 将 从 ChannelPipeline 右 端 
开始 一 直 处 理 到 左边 。 


ChannelPipeline 相对 论 


你 可 能 会 说 ,从 ChannelPipeline 事件 传递 的 角度 来 看 ,ChannelPipeline 的 “开始 ”取决 于 是 否 入 
站 或 出 站 事件 。 然 而 ,Netty 总 是 指 ChannelPipeline 入 站 口 ( 图 中 的 左边 ) 为 “开始 ”出 站 口 ( 右 

边 ) 作 为 “结束 ”。 当 我 们 完成 使 用 ChannelPipeline.add() 添加 混合 入 站 和 出 站 处 理 程序 ,每 个 
ChannelHandler 的 “顺序 "是 它 的 地 位 从 “开始 "到 “结束 ”正如 我 们 刚才 定义 的 。 因 此 ,如 果 我 们 在 
图 6.1 处 理 程序 按 顺序 从 左 到 右 第 一 个 ChannelHandler 被 一 个 入 站 事件 将 是 #1, 第 一 个 处 理 程 
序 被 出 站 事件 将 是 #5* 


随 着 管道 传播 事件 , 它 决定 下 个 ChannelHandler 是 否 是 相 匹配 的 方向 运动 的 类 型 。 如 果 没 
有 ,ChannelPipeline #43 ChannelHandler 并 继续 下 一 个 合适 的 方向 。 记 住 ,一 个 处 理 程序 可 能 
同时 实现 ChannellnboundHandler 和 ChannelOutboundHandler 接口 。 


修改 ChannelPipeline 


ChannelHandler 可 以 实时 修改 ChannelPipeline 的 布局 ， 通 过 添加 、 移 除 、 替 换 其 他 
ChannelHandler (也 可 以 从 ChannelPipeline 移 除 ChannelHandler 自身 ) 。 这 个 是 
ChannelHandler 重要 的 功能 之 一 。 


Table 6.6 ChannelHandler methods for modifying a ChannelPipeline 


名 称 描述 
addFirst addBefore addAfter 添加 ChannelHandler 到 ChannelPipeline. 
addLast 
Remove 从 ChannelPipeline # ChannelHandler. 
在 ChannelPipeline 替换 另外 一 个 
Replace ChannelHandler 
下 面 展 示 了 操作 


Listing 6.5 Modify the ChannelPipeline 


ChannelPipeline pipeline = null; // get reference to pipeline; 
FirstHandler firstHandler = new FirstHandler(); //1 
pipeline.addLast("handleri", firstHandler); //2 
pipeline.addFirst("handler2", new SecondHandler()); //3 
pipeline.addLast("handler3", new ThirdHandler()); //4 


pipeline.remove("handler3"); //5 
pipeline.remove(firstHandler); //6 


pipeline.replace("handler2", "handler4", new ForthHandler()); //6 


1. 创建 一 个 FirstHandler 实例 
2， 添 加 该 实例 作为 "handler1" 到 ChannelPipeline 
3. 添加 SecondHandler 实例 作为 "handler2" 到 ChannelPipeline 的 第 一 个 档 ， 这 意味 着 它 


将 替换 之 前 已 经 存在 的 "handler1" 

添加 ThirdHandler 实例 作为 "handler3" 到 ChannelPipeline 的 最 后 一 个 楼 

通过 名 称 移 除 "handler3" 

通过 引用 移 除 FirstHandler (因为 只 有 一 个 ， 所 以 可 以 不 用 关联 名 字 "handler1") . 
将 作为 "handler2" 的 SecondHandler 实例 替换 为 作为 "handler4" 的 FourthHandler 


Noo A 


以 后 我 们 将 看 到 ,这 种 轻松 添加 、 移 除 和 替换 ChannelHandler 能 力 ， 适 合 非 常 灵活 的 实现 逻 


辑 。 

ChannelHandler 执行 ChannelPipeline 和 阻塞 

通常 每 个 ChannelHandler 添加 到 ChannelPipeline 将 处 理事 件 传递 到 EventLoop( I/O 的 线 
程 )。 至 关 重 要 的 是 不 要 阻塞 这 个 线程 ， 它 将 会 负面 影响 的 整体 处 理 WO。 有 时 可 能 需要 使 用 
阻塞 api 接口 来 处 理 遗 留 代码 。 对 于 这 个 情况 下 ,ChannelPipeline 已 有 add() 方法 , 它 接受 一 个 
EventExecutorGroup。 如 果 一 个 定制 的 EventExecutorGroup 传 入 事件 将 由 含 在 这 个 


EventExecutorGroup 中 的 EventExecutor 之 一 来 处 理 ， 并 且 从 Channel 的 EventLoop 本 身 
离开 。 一 个 默认 实现 , 称 为 来 自 Netty 的 DefaultEventExecutorGroup 


除了 上 述 操作 ， 其 他 访问 ChannelHandler 的 方法 如 下 : 


Table 6.7 ChannelPipeline operations for retrieving ChannelHandlers 


名 称 uu 
get(...) Return a ChannelHandler by type or name 
context(...) Return the ChannelHandlerContext bound to a ChannelHandler. 
names() Return the names or of all the ChannelHander in the 
iterator() ChannelPipeline. 


发 送 事件 


ChannelPipeline API 有 额外 调用 入 站 和 出 站 操作 的 方法 。 下 表 列 出 了 入 站 操作 ,用 于 通知 
ChannelPipeline  ChannellnboundHandlers 正在 发 生 的 事件 


Table 6.8 Inbound operations on ChannelPipeline 


A VES 


Calls channelRegistered(ChannelHandlerContext) on the 


Weehannel eg re next ChannellnboundHandler in the ChannelPipeline. 


Calls channelUnregistered(ChannelHandlerContext) on 


Prec hannelunregietered the next ChannellnboundHandler in the ChannelPipeline. 


Calls channelActive(ChannelHandlerContext) on the next 


Mea CNN ChannellnboundHandler in the ChannelPipeline. 


Calls channellnactive(ChannelHandlerContext)on the 


Mee Panne inactive next ChannellnboundHandler in the ChannelPipeline. 


Calls exceptionCaught(ChannelHandlerContext, 
fireExceptionCaught Throwable) on the next ChannelHandler in the 
ChannelPipeline. 


Calls userEventTriggered(ChannelHandlerContext, 
fireUserEventTriggered Object) on the next ChannellnboundHandler in the 
ChannelPipeline. 


Calls channelRead(ChannelHandlerContext, Object msg) 
fireChannelRead on the next ChannellnboundHandler in the 
ChannelPipeline. 


Calls channelReadComplete(ChannelHandlerContext) on 


Wie dapnedsegusorp.ete the next ChannelStateHandler in the ChannelPipeline. 


在 出 站 方面 ,处 理 一 个 事件 将 导致 底层 套 接 字 的 一 些 行动 。 下 表 列 出 了 ChannelPipeline API 出 
站 的 操作 。 


Table 6.9 Outbound operations on ChannelPipeline 


A 


bind 


connect 


disconnect 


close 


deregister 


flush 


write 


writeAndFlush 


read 


描述 


i 


Bind the Channel to a local address. This will call 
bind(ChannelHandlerContext, SocketAddress, ChannelPromise) on 
the next ChannelOutboundHandler in the ChannelPipeline. 


Connect the Channel to a remote address. This will call 
connect(ChannelHandlerContext, SocketAddress,ChannelPromise) 
on the next ChannelOutboundHandler in the ChannelPipeline. 


Disconnect the Channel. This will call 
disconnect(ChannelHandlerContext, ChannelPromise) on the next 
ChannelOutboundHandler in the ChannelPipeline. 


Close the Channel. This will call 
close(ChannelHandlerContext, ChannelPromise) on the next 
ChannelOutboundHandler in the ChannelPipeline. 


Deregister the Channel from the previously assigned EventExecutor 
(the EventLoop). This will call 

deregister(ChannelHandlerContext, ChannelPromise) on the next 
ChannelOutboundHandler in the ChannelPipeline. 


Flush all pending writes of the Channel. This will call 
flush(ChannelHandlerContext) on the next ChannelOutboundHandler 
in the ChannelPipeline. 


Write a message to the Channel. This will call 
write(ChannelHandlerContext, Object msg, ChannelPromise) on the 
next ChannelOutboundHandler in the ChannelPipeline. Note: this 
does not write the message to the underlying Socket, but only queues 
it. To write it to the Socket call flush() or writeAndFlush(). 


Convenience method for calling write() then flush(). 


Requests to read more data from the Channel. This will call 
read(ChannelHandlerContext) on the next ChannelOutboundHandler 
in the ChannelPipeline. 


e 一 个 ChannelPipeline 是 用 来 保存 关联 到 一 个 Channel &j ChannelHandler 
e 可 以 修改 ChannelPipeline 通过 动态 添加 和 删除 ChannelHandler 
e ChannelPipeline 有 着 丰富 的 API 调 用 动作 来 回应 入 站 和 出 站 事件 。 


ChannelHandlerContext 


#22 ChannelHandlerContext 代表 ChannelHandler #*ChannelPipeline 之 问 的 关联 ,并 在 
ChannelHandler 添加 到 ChannelPipeline 时 创建 一 个 实例 。ChannelHandlerContext 的 主要 
功能 是 管理 通过 同一 个 ChannelPipeline 关联 的 ChannelHandler 之 间 的 交互 。 


ChannelHandlerContext 有 许多 方法 ,其 中 一 些 也 出 现在 Channel 和 ChannelPipeline 本 身 。 
然而 ,如 果 您 通过 Channel 或 ChannelPipeline 的 实例 来 调用 这 些 方法 ， 他 们 就 会 在 整个 
pipeline 中 传播 。 相 比 之 下 ,一 样 的 的 方法 在 ChannelHandlerContext 的 实例 上 调用 ， 就 只 会 
从 当前 的 ChannelHandler 开始 并 传播 到 相关 管道 中 的 下 一 个 有 处 理事 件 能 力 的 
ChannelHandler ° 


ChannelHandlerContext API 总 结 如 下 : 


Table 6.10 ChannelHandlerContext API 


名 称 ES 
Request to bind to the given SocketAddress and return a 
bind 
ChannelFuture. 
channel Return the Channel which is bound to this instance. 
Request to close the Channel and return a 
close 
ChannelFuture. 
Request to connect to the given SocketAddress and 
connect 
return a ChannelFuture. 
derdeisten Request to deregister from the previously assigned 
9 EventExecutor and return a ChannelFuture. 
Request to disconnect from the remote peer and return a 
disconnect 
ChannelFuture. 
executor Return the EventExecutor that dispatches events. 
fireChannelActive A Channel is active (connected). 
fireChannellnactive A Channel is inactive (closed). 
fireChannelRead A Channel received a message. 


fireChannelReadComplete Triggers a channelWritabilityChanged event to the next 


ChannellnboundHandler. handler | Returns the ChannelHandler bound to this instance. 
isRemoved | Returns true if the associated ChannelHandler was removed from the 
ChannelPipeline. name | Returns the unique name of this instance. pipeline | Returns the 
associated ChannelPipeline. read | Request to read data from the Channel into the first 


inbound buffer. Triggers a channelRead event if successful and notifies the handler of 
channelReadComplete. write | Request to write a message via this instance through the 
pipeline. 


其 他 注意 注意 事项 : 
e ChannelHandlerContext 与 ChannelHandler 的 关联 从 不 改变 ， 所 以 缓存 它 的 引用 是 安全 
的 。 


e 正如 我 们 前 面 指出 的 ,ChannelHandlerContext 所 包含 的 事件 流 比 其 他 类 中 同样 的 方法 都 
要 短 ， 利 用 这 一 点 可 以 尽 可 能 高 地 提高 性 能 。 


使 用 ChannelHandler 


本 节 ， 我 们 将 说 明 ChannelHandlerContext 的 用 法 ， 以 及 ChannelHandlerContext, Channel 
和 ChannelPipeline 这 些 类 中 方法 的 不 同 表现 。 下 图 展示 了 ChannelPipeline, Channel, 
ChannelHandler 和 ChannelHandlerContext 的 关系 
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Channel 绑 定 到 ChannelPipeline 

ChannelPipeline 绑 定 到 包含 ChannelHandler 的 Channel 

ChannelHandler 

当 添 加 ChannelHandler 到 ChannelPipeline 时 ，ChannelHandlerContext 被 创建 


^om 


Figure 6.3 Channel, ChannelPipeline, ChannelHandler and ChannelHandlerContext 


下 面 展 示 了 ， MChannelHandlerContext 获取 到 Channel 的 引用 ， 通 过 调用 Channel 上 的 
Write() 方法 来 触发 一 个 写 事件 到 通过 管道 的 的 流 中 


Listing 6.6 Accessing the Channel from a ChannelHandlerContext 


ChannelHandlerContext ctx = context; 

Channel channel = ctx.channel(); //1 

channel.write(Unpooled.copiedBuffer("Netty in Action", 
CharsetUtil.UTF 8)); //2 


1. 得 到 与 ChannelHandlerContext 关联 的 Channel 的 引用 
2. 通过 Channel 写 缓存 


下 面 展示 了 从 ChannelHandlerContext 获取 到 ChannelPipeline 的 相同 示例 


Listing 6.7 Accessing the ChannelPipeline from a ChannelHandlerContext 


ChannelHandlerContext ctx = context; 
ChannelPipeline pipeline = ctx.pipeline(); //1 
pipeline.write(Unpooled.copiedBuffer("Netty in Action", CharsetUtil.UTF 8)); //2 


1. #¢2 4 ChannelHandlerContext 关联 的 ChannelPipeline 的 引用 

2. 通过 ChannelPipeline 5 27? IX 
流 在 两 个 清单 6.6 和 6.7 是 一 样 的 ,如 图 6.4 所 示 。 重 要 的 是 要 注意 ,虽然 在 Channel 或 者 
ChannelPipeline 上 调用 write() 都 会 把 事件 在 整个 管道 传播 ,但 是 在 ChannelHandler 级 别 上 ， 
从 一 个 处 理 程序 转 到 下 一 个 却 要 通过 在 ChannelHandlerContext 调用 方法 实现 。 


ChannelHandler 


ChannelHandler ChannelHandler ChannelHandler 
Context Context Context 
1. 事件 传递 给 ChannelPipeline 的 第 一 个 ChannelHandler 


2. ChannelHandler 通过 关联 的 ChannelHandlerContext 传递 事件 给 ChannelPipeline 中 的 
下 一 个 

3. ChannelHandler 通过 关联 的 ChannelHandlerContext 传递 事件 给 ChannelPipeline 中 的 
下 二 个 
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Figure 6.4 Event propagation via the Channel or the ChannelPipeline 


为 什么 你 可 能 会 想 从 ChannelPipeline 一 个 特定 的 点 开始 传播 一 个 事件 ? 


e 通过 减少 ChannelHandler 不 感 兴趣 的 事件 的 传递 ， 从 而 减少 开销 
e 排除 掉 特 定 的 对 此 事件 感 兴 趣 的 处 理 程序 的 处 理 


想 要 实现 从 一 个 特定 的 ChannelHandler 开始 处 理 ， 你 必须 引用 与 此 ChannelHandler 的 前 一 
个 ChannelHandler 关联 的 ChannelHandlerContext 。 这 个 ChannelHandlerContext 将 会 调用 
与 自身 关联 的 ChannelHandler 的 下 一 个 ChannelHandler 。 


下 面 展 示 了 使 用 场景 


Listing 6.8 Events via ChannelPipeline 


ChannelHandlerContext ctx = context; 
ctx.write(Unpooled.copiedBuffer("Netty in Action", CharsetUtil.UTF_8)); 


1. 384% ChannelHandlerContext 的 引用 


2. write() 将 会 把 缓冲 区 发 送 到 下 一 个 ChannelHandler 


如 下 所 示 , 消 息 将 会 从 下 一 个 ChannelHandler 开 始 流 过 ChannelPipeline , 绕 过 所 有 在 它 之 前 的 
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1. ChannelHandlerContext 方法 调用 
2. 事件 发 送 到 了 下 一 个 ChannelHandler 
3. 经 过 最 后 一 个 ChannelHandler 后 ， 事 件 从 ChannelPipeline 移 除 


Figure 6.5 Event flow for operations triggered via the ChannelHandlerContext 


我 们 刚刚 描述 的 用 例 是 一 种 常见 的 情形 , 当 我 们 想 要 调用 某 个 特定 的 ChannelHandler 操 作 时 ， 


ChannelHandler 和 ChannelHandlerContext 的 高 级 用 法 


正如 我 们 在 清单 6.6 中 看 到 的 ， 通 过 调用 ChannelHandlerContext 的 pipeline() 方法 ， 你 可 以 得 
到 一 个 封闭 的 ChannelPipeline 引用 。 这 使 得 可 以 在 运行 时 操作 pipeline 的 ChannelHandler 
， 这 一 点 可 以 被 利用 来 实现 一 些 复 杂 的 需求 ,例如 ,添加 一 个 ChannelHandler 到 pipeline 来 支 
持 动态 协议 改变 。 


其 他 高 级 用 例 可 以 实现 通过 保持 一 个 ChannelHandlerContext 引用 供 以 后 使 用 ,这 可 能 发 生 在 
任何 ChannelHandler 方法 ,甚至 来 自 不 同 的 线程 。 清 单 6.9 显 示 了 此 模式 被 用 来 触发 一 个 事 
件 。 


Listing 6.9 ChannelHandlerContext usage 


public class WriteHandler extends ChannelHandlerAdapter { 


private ChannelHandlerContext ctx; 


@Override 

public void handlerAdded(ChannelHandlerContext ctx) { 
this.ctx = ctx; //1 

H 


public void send(String msg) { 
ctx.writeAndFlush(msg); //2 


} 


1. 存储 ChannelHandlerContext 的 引用 供 以 后 使 用 
2. 使 用 之 前 存储 的 ChannelHandlerContext 来 发 送 消息 


A ChannelHandler 可 以 属于 多 个 ChannelPipeline , 它 可 以 绑 定 多 个 
ChannelHandlerContext 实例 。 然 而 ,ChannelHandler 用 于 这 种 用 法 必须 添加 @sharable 注 
解 。 否 则 ,试图 将 它 添加 到 多 个 ChannelPipeline 将 引发 一 个 异常 。 此 外 , 它 必须 既是 线程 安全 
的 又 能 安全 地 使 用 多 个 同时 的 通道 (比如 ,连接 ) 。 


清单 6.10 显 示 了 此 模式 的 正确 实现 。 


Listing 6.10 A shareable ChannelHandler 


@ChannelHandler.Sharable //1 
public class SharableHandler extends ChannelInboundHandlerAdapter { 


@Override 

public void channelRead(ChannelHandlerContext ctx, Object msg) { 
System.out.println("channel read message " + msg); 
ctx.fireChannelRead(msg); //2 


1. 添加 @Sharable 注解 
2.， 日 志方 法 调用 ， 并 专递 到 下 一 个 ChannelHandler 


上 面 这 个 ChannelHandler 实现 符合 所 有 包含 在 多 个 管道 的 要 求 ; 它 通过 @sharable 注解 ， 并 
不 持 有 任何 状态 。 而 下 面 清单 6.11 中 列 出 的 情况 则 恰恰 相反 , 它 会 造成 问题 。 


Listing 6.11 Invalid usage of @Sharable 


@ChannelHandler.Sharable //1 
public class NotSharableHandler extends ChannelInboundHandlerAdapter { 
private int count; 


@Override 
public void channelRead(ChannelHandlerContext ctx, Object msg) { 
count++; //2 


System.out.println("inboundBufferUpdated(...) called the " 
+ count + " time"); //3 
ctx.firechannelRead(msg); 


1. 添加 @Sharable 
2. count 字段 递增 
3. 日 志方 法 调用 ， 并 专递 到 下 一 个 ChannelHandler 


这 段 代 码 的 问题 是 它 持 有 状态 :一 个 实例 变量 保持 了 方法 调用 的 计数 。 将 这 个 类 的 一 个 实例 添 
加 到 ChannelPipeline 并 发 访问 通道 时 很 可 能 产生 错误 。( 当 然 ,这 个 简单 的 例子 中 可 以 通过 在 
channelRead() 上 添加 synchronized 来 纠正 ) 


总 之 ,使 用 @sharable 的 话 ， 要 确定 ChannelHandler 是 线程 安全 的 。 


为 什么 共享 ChannelHandler 


s 


常见 原因 是 要 在 多 个 ChannelPipelines 上 安装 一 个 ChannelHandler 以 此 来 实现 跨 多 个 汇 
收集 统计 数据 的 目的 。 


我 们 的 讨论 ChannelHandlerContext 及 与 其 他 框架 组 件 关系 的 到 此 结束 。 接 下 来 我 们 将 解析 
Channel 状态 模型 ,准备 仔细 看 看 ChannelHandler 本 身 。 


P2 
总 结 
本 章 带 你 深入 窥探 了 一 下 Netty 的 数据 处 理 组 件 : ChannelHandler。 我 们 讨论 了 
ChannelHandler 之 间 是 如 何 链接 的 以 及 它 在 像 ChannellnboundHandler 和 
ChannelOutboundHandler 这 样 的 化 身 中 是 如 何 与 ChannelPipeline 交互 的 。 

下 一 章 将 集中 在 Netty 的 编 解码 器 的 抽象 上 ,这 种 抽象 使 得 编写 一 个 协议 编码 器 和 解码 器 比 使 
用 原始 ChannelHandler 接口 更 容易 。 


Codec 框架 


本 章 介 绍 


© Decoder( 解 码 器 ) 
e Encoder( 编 码 器 ) 
© Codec( 编 解码 器 ) 


在 前 面 的 章节 中 ,我 们 讨论 了 连接 到 拦截 操作 或 数据 处 理 链 的 不 同方 式 , 展 示 了 如 何 使 用 
ChannelHandler 及 其 相关 的 类 来 实现 几乎 任何 一 种 应 用 程序 所 需 的 逻辑 。 但 正如 标准 架构 模 
式 通常 有 专门 的 框架 ,通用 处 理 模式 很 适合 使 用 目标 实现 ,可 以 节省 我 们 大 量 的 开发 时 间 和 精 
力 。 


在 这 一 章 ,我 们 将 研究 编码 和 解码 一 数据 从 一 种 特定 协议 格式 到 另 一 种 格式 的 转换 。 这 种 处 
理 模式 是 由 通常 被 称 为 "codecs( 编 解码 器 ) 的 组 件 来 处 理 的 。Netty 提 供 了 一 些 组 件 ,利用 它们 
可 以 很 容易 地 为 各 种 不 同 协议 编写 编 解 码 器 。 例 如 ,如 果 您 正在 构建 一 个 基于 Netty 的 邮件 服 
务 器 ， 你 可 以 使 用 POP3, IMAP 和 SMTP 的 现成 的 实现 


什么 是 Codec 


编写 一 个 网 络 应 用 程序 需要 实现 某 种 codec ( 编 解 码 器 )，codec 的 作用 就 是 将 原始 字 节 数 据 与 
目标 程序 数据 格式 进行 互 转 。 网 络 中 都 是 以 字 节 码 的 数据 形式 来 传输 数据 的 ，codec 由 两 部 
分 组 成 : decoder( 解 码 器 ) 和 encoder( 编 码 器 ) 


编码 器 和 解码 器 一 个 字 节 序列 转换 为 另 一 个 业务 对 象 。 我 们 如 何 区 分 ? 


想到 一 个 "消息 "是 一 个 结构 化 的 字 节 序列 ,语义 为 一 个 特定 的 应 用 程序 一 一 它 的 “数据 ”。 
encoder 是 组 件 ,转换 消息 格式 适合 传输 (就 像 字 节 流 ), 而 相应 的 decoder 转换 传输 数据 回 到 程 
序 的 消息 格式 。 逻 辑 上 “从 ”消息 转换 来 是 当 作 操作 outbound (出 站 ) 数据 ,而 转换 “到 ”消息 是 
处 理 inbound (入 站 ) 数据 。 


我 们 看 看 Netty 的 提供 的 类 实现 的 codec e 


解码 器 负责 将 消息 从 字 节 或 其 他 序列 形式 转 成 指定 的 消息 对 象 ， 编 码 器 则 相反 ; 解码 器 负责 

处 理 * 入 站 ?数据 ， 编 码 器 负责 处 理 “ 出 站 "数据 。 编 码 器 和 解码 器 的 结构 很 简单 ， 消 息 被 编码 后 
解码 后 会 自动 通过 ReferenceCountUtil.release(message) 释 放 ， 如 果 不 想 释放 消息 可 以 使 用 

ReferenceCountUtil.retain(message)， 这 将 会 使 引用 数量 增加 而 没有 消息 发 布 ， 大 多 数 时 候 
不 需要 这 么 做 。 


Decoder(A£45 4) 


本 节 ， 会 提供 几 个 类 用 于 decoder 的 实现 ， 并 介绍 一 些 具体 的 例子 ， 这 些 例子 会 告诉 你 什么 
时 候 可 能 用 到 他 们 以 及 怎么 来 用 他 们 。 


Netty 提供 了 丰富 的 解码 器 抽象 基 类 ， 我 们 可 以 很 容易 的 实现 这 些 基 类 来 自 定义 解码 器 。 主 要 


分 两 类 : 


2e 


. f 
e f 


码 字 节 到 消息 (ByteToMessageDecoder 和 ReplayingDecoder ) 
码 消 息 到 消息 (MessageToMessageDecoder) 


decoder 负责 将 “入 站 ?数据 从 一 种 格式 转换 到 另 一 种 格式 ，Netty 的 解码 器 是 一 种 
ChannellnboundHandler 的 抽象 实现 。 实 践 中 使 用 解码 器 很 简单 ， 就 是 将 入 站 数据 转换 格式 
后 传递 到 ChannelPipeline 中 的 下 一 个 ChannellnboundHandler 进行 处 理 ; 这 样 的 处 理 是 很 
灵活 的 ， 我 们 可 以 将 解码 器 放 在 ChannelPipeline 中 ， 重 用 逻辑 。 


ByteToMessageDecoder 


ByteToMessageDecoder 是 用 于 将 字 节 转 为 消息 (或 其 他 字 节 序列 ) 。 


你 不 能 确定 远 端 是 否 会 一 次 发 送 完 一 个 完整 的 “信息 ”因此 这 个 类 会 缓存 入 站 的 数据 ,直到 准备 
好 了 用 于 处 理 。 表 7.1 说 明了 它 的 两 个 最 重要 的 方法 。 


Table 7.1 ByteToMessageDecoder API 


方法 名 称 首 述 


This is the only abstract method you need to implement. It is called with 
a ByteBuf having the incoming bytes and a List into which decoded 

Decode messages are added. decode() is called repeatedly until the List is empty 
on return. The contents of the List are then passed to the next handler in 
the pipeline. 


The default implementation provided simply calls decode(). This method 
decodeLast is called once, when the Channel goes inactive. Override to provide 
special 


handling 

假设 我 们 接收 一 个 包含 简单 整数 的 字 节 流 ,每 个 都 单独 处 理 。 在 本 例 中 ,我 们 将 从 入 站 ByteBuf 
读 取 每 个 整数 并 将 其 传递 给 pipeline 中 的 下 一 个 ChannellnboundHandler 。" 解 码 " 字 节 流 成 整 
数 我 们 将 扩展 ByteToMessageDecoder， 实 现 类 为 “TolntegerDecoder ,如 图 7.1 所 示 。 
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Figure 7.1 TolntegerDecoder 


每 次 从 入 站 的 ByteBuf 读 取 四 个 字 节 ， 解 码 成 整形 ， 并 添加 到 一 个 List (本 例 是 指 Integer) , 
当 不 能 再 添加 数据 到 list 时 ， 它 所 包含 的 内 容 就 会 被 发 送 到 下 个 ChannellnboundHandler 


Listing 7.1 ByteToMessageDecoder that decodes to Integer 


public class ToIntegerDecoder extends ByteToMessageDecoder { //1 


@Override 
public void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) 
throws Exception { 
if (in.readableBytes() >= 4) { //2 
out.add(in.readInt()); //3 
} 


1. 实现 继承 了 ByteToMessageDecode 用 于 将 字 节 解码 为 消息 
2. 检查 可 读 的 字 节 是 否 至 少 有 4 个 (int 是 4 个 字 节 长 度 ) 
3. 从 入 站 ByteBuf 读 取 int ， 添 加 到 解码 消息 的 List 中 


尽管 ByteToMessageDecoder 简化 了 这 个 模式 ,你 会 发 现 它 还 是 有 点 烦人 ,在 实际 的 读 操作 (这 
里 readlnt()) 之 前 ， 必 须要 验证 输入 的 ByteBuf 要 有 足够 的 数据 。 在 下 一 节 中 ,我 们 将 看 看 
ReplayingDecoder, 一 个 特殊 的 解码 器 。 

章节 5 和 6 中 提 到 ,应 该 特别 注意 引用 计数 。 对 于 编码 器 和 解码 器 来 说 ， 这 个 过 程 非常 简单 。 一 
旦 一 个 消息 被 编码 或 解码 它 自动 被 调用 ReferenceCountUtil.release(message) 。 如 果 你 稍 后 
还 需要 用 到 这 个 引用 而 不 是 马上 释放 ,你 可 以 调用 ReferenceCountUtil.retain(message)。 这 将 
增加 引用 计数 ,防止 消息 被 释放 。 


ReplayingDecoder 


ReplayingDecoder 是 byte-to-message 解码 的 一 种 特殊 的 抽象 基 类 ， 读 取 缓 冲 区 的 数据 之 前 
需要 检查 缓冲 区 是 否 有 足够 的 字 节 ， 使 用 ReplayingDecoder 就 无 需 自己 检查 ; 若 ByteBuf 中 有 
足够 的 字 节 ， 则 会 正常 读 取 ; 若 没 有 足够 的 字 节 则 会 停止 解码 o 


ByteToMessageDecoder fe ReplayingDecoder 
注意 到 ReplayingDecoder 继承 自 ByteToMessageDecoder > PT VAAPI 跟 表 7.1 是 相同 的 
也 正 因 为 这 样 的 包装 使 得 ReplayingDecoder # A — x 83 Ay IRE 


e. 不 是 所 有 的 标准 ByteBuf 操作 都 被 支持 ， 如 果 调 用 一 个 不 支持 的 操作 会 抛 出 
UnreplayableOperationException 
e ReplayingDecoder 略 慢 于 ByteToMessageDecoder 


如 果 这 些 限制 是 可 以 接受 你 可 能 更 喜欢 使 用 ReplayingDecoder。 下 面 是 一 个 简单 的 准则 : 
如 果 不 引 入 过 多 的 复杂 性 使 用 ByteToMessageDecoder 。 否 则 ,使 用 ReplayingDecoder ° 


Listing 7.2 ReplayingDecoder 


public class ToIntegerDecoder2 extends ReplayingDecoder«Void» { //1 
@Override 
public void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) 


throws Exception { 
out.add(in.readInt()); //2 


1. 实现 继承 自 ReplayingDecoder 用 于 将 字 节 解码 为 消息 
2. 从 入 站 ByteBuf 读 取 整 型 ， 并 添加 到 解码 消息 的 List 中 


如 果 我 们 比较 清单 7.1 和 7.2 很 明显 ,实现 使 用 ReplayingDecoder 更 简单 。 

更 多 Decoder 

下 面 是 更 加 复杂 的 使 用 场景 : io.netty.handler.codec.LineBasedFrameDecoder 通过 结束 控制 
符 ("Mn" 或 rin) 解析 入 站 数据 。 io.netty.handler.codec.http.HttpObjectDecoder 用 于 HTTP 
数据 解码 

MessageToMessageDecoder 

用 于 从 一 种 消息 解码 为 另外 一 种 消息 (例如 ，POJO 到 POJO) ， 下 表 展 示 了 方法 : 


Table 7.2 MessageToMessageDecoder API 


方法 名 称 首 述 


decode is the only abstract method you need to implement. It is called 
for each inbound message to be decoded to another format . The 
decoded messages are then passed to the next ChannellnboundHandler 
in the pipeline. 


decode 


The default implementation provided simply calls decode(). This method 
decodeLast is called once, when the Channel goes inactive. Override to provide 
special 


handling 


将 Integer 4% A String， 我 们 提供 了 IntegerToStringDecoder > 2;& 4 
MessageToMessageDecoder ° 


为 这 是 一 个 参数 化 的 类 ,实现 的 签名 是 : 


public class IntegerToStringDecoder extends MessageToMessageDecoder<Integer> 


decode() 方法 的 签名 是 


protected void decode( ChannelHandlerContext ctx, 
Integer msg, List<Object> out ) throws Exception 


也 就 是 说 ,入 站 消息 是 按照 在 类 定义 中 声明 的 参数 类 型 (这 里 是 Integer) 而 不 是 ByteBuf 来 解析 
的 。 在 之 前 的 例子 ,解码 消息 (这 里 是 String) 将 被 添加 到 List， 并 传递 到 下 个 
ChannellnboundHandler。 这 是 如 图 7.2 所 示 。 
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Figure 7.2 IntegerToStringDecoder 
实现 如 下 : 


Listing 7.3 MessageToMessageDecoder - Integer to String 


public class IntegerToStringDecoder extends 
MessageToMessageDecoder<Integer> { //1 


@Override 
public void decode(ChannelHandlerContext ctx, Integer msg, List<Object> out) 
throws Exception { 
out.add(String.valueOf(msg)); //2 


1. 实现 继承 自 MessageToMessageDecoder 

2. 通过 String.valueOf() 转换 Integer 消息 字符 串 
正如 我 们 上 面 指出 的 ,decode() 方 法 的 消息 参数 的 类 型 是 由 给 这 个 类 指定 的 泛 型 的 类 型 (这 里 是 
Integer) 确 定 的 。 
HttpObjectAggregator 


更 多 复杂 的 示例 ， 请 查看 类 jo.netty.handler.codec.http.HttpObjectAggregator, 继 承 自 
MessageToMessageDecoder 


在 解码 时 处 理 太 大 的 帧 


Netty 是 异步 框架 需要 缓冲 区 字 节 在 内 存 中 ,直到 你 能 够 解码 它们 。 因 此 ,你 不 能 让 你 的 解码 器 
缓存 太 多 的 数据 oe 内 存 。 为 了 解决 这 个 共同 关心 的 问题 Netty 提供 了 一 个 
TooLongFrameException ,通常 由 解码 器 在 帧 太 长 时 抛 出 。 


为 了 避免 这 个 问题 ,你 可 以 在 你 的 解码 器 里 设置 一 个 最 大 字 节 数 阅 值 ,如 果 超 出 ,将 导致 

Took ong emoE eoplon 抛 出 (并 由 ChannelHandler.exceptionCaught() 捕获 )。 然 后 由 译 码 
器 的 用 户 决 定 如 何 处理 它 。 虽 然 一 些 协议 ,比如 HTTP、 多 许 这 种 情况 下 有 一 个 特殊 的 响应 ,有 

些 可 能 没有 ,事件 唯一 的 选择 可 能 就 是 关闭 连接 。 


如 清单 7.4 所 示 ByteToMessageDecoder 可 以 利用 TooLongFrameException 通知 其 他 
ChannelPipeline 中 的 ChannelHandler。 


Listing 7.4 SafeByte ToMessageDecoder encodes shorts into a ByteBuf 


public class SafeByteToMessageDecoder extends ByteToMessageDecoder { //1 
private static final int MAX_FRAME_SIZE = 1024; 


@Override 
public void decode(ChannelHandlerContext ctx, ByteBuf in, 
List<Object> out) throws Exception { 
int readable = in.readableBytes(); 
if (readable > MAX_FRAME_SIZE) { //2 
in.skipBytes(readable); //3 
throw new TooLongFrameException("Frame too big!"); 


} 
// do something 


1， 实 现 继承 ByteToMessageDecoder 来 将 字 节 解码 为 消息 

2. 检测 缓冲 区 数据 是 否 大 于 MAX_FRAME_SIZE 

3. 忽略 所 有 可 读 的 字 节 ， 并 抛 出 TooLongFrameException 来 通知 ChannelPipeline 中 的 
ChannelHandler 这 个 帧 数据 超 长 


这 种 保护 是 很 重要 的 ， 尤 其 是 当 你 解码 一 个 有 可 变 帧 大 小 的 协议 的 时 候 。 


到 这 里 我 们 解释 了 解码 器 常见 用 例 和 Netty 提供 的 用 于 构建 它们 的 抽象 基 类 。 但 解码 器 只 是 一 
方面 。 另 一 方面 ,还 需要 完成 Codec API, 我 们 有 编码 器 ,用 于 转换 消息 到 出 站 数据 。 这 将 是 我 们 
下 一 个 话题 。 


Encoder( #44 4) 


回顾 之 前 的 定义 ，encoder 是 用 来 把 出 站 数据 从 一 种 格式 转换 到 另外 一 种 格式 ， 因 此 它 实 现 了 
ChannelOutboundHandler。 正 如 你 所 期 望 的 一 样 ， 类 似 于 decoder > Netty 也 提供 了 一 组 类 
来 帮助 你 写 encoder， 当 然 这 些 类 提供 的 是 与 decoder 相反 的 方法 ， 如 下 所 示 : 


。 编码 从 消息 到 字 节 
。 编码 从 消息 到 消息 


MessageToByteEncoder 


之 前 我 们 学 习 了 如 何 使 用 ByteToMessageDecoder 来 将 字 节 转换 成 消息 ， 现 在 我 们 使 用 
MessageToByteEncoder 实现 相反 的 效果 。 


Table 7.3 MessageToByteEncoder API 


方 法 名 qi 
称 E 


B 


The encode method is the only abstract method you need to implement. It is 
called with the outbound message, which this class will encodes to a 
ByteBuf. The ByteBuf is then forwarded to the next 
ChannelOutboundHandler in the ChannelPipeline. 


encode 


这 个 类 只 有 一 个 方法 ， 而 decoder 却 是 有 两 个 ， 原 因 就 是 decoder 经 常 需要 在 Channel 关闭 
时 产生 一 个 “最 后 的 消息 *。 出 于 这 个 原因 ， 提 供 了 decodeLast() ;而 encoder 没有 这 个 需求 。 


下 面 示例 ， 我 们 想 产 生 Short 值 ， 并 想 将 他 们 编码 成 ByteBuf 来 发 送 到 线 上 ， 我 们 提供 了 
ShortToByteEncoder 来 实现 该 目的 。 
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Figure 7.3 ShortToByteEncoder 


上 图 展示 了 ，encoder 收 到 了 Short 消息 ， 编码 他 们 ， 并 把 他 们 写 入 ByteBuf。 ByteBuf 接着 
前 进 到 下 一 个 pipeline 的 ChannelOutboundHandler。 每 个 Short 将 占用 ByteBuf 的 两 个 字 节 


Listing 7.5 ShortToByteEncoder encodes shorts into a ByteBuf 


public class ShortToByteEncoder extends 
MessageToByteEncoder<Short> { //1 
@Override 
public void encode(ChannelHandlerContext ctx, Short msg, ByteBuf out) 
throws Exception { 
out.writeShort(msg); //2 


1. 实现 继承 自 MessageToByteEncoder 
2. 写 Short 到 ByteBuf 

Netty 提供 很 多 MessageToByteEncoder 类 来 帮助 你 的 实现 自己 的 encoder 。 其 中 
WebSocket08FrameEncoder 就 是 个 不 错 的 范例 。 可 以 在 
io.netty.handler.codec.http.websocketx 包 找到 。 


MessageToMessageEncoder 


我 们 已 经 知道 了 如 何 将 入 站 数据 从 一 个 消息 格式 解码 成 另 一 个 格式 。 现 在 我 们 需要 一 种 方法 
来 将 出 站 数据 从 一 种 消息 编码 成 另 一 种 消息 。MessageToMessageEncoder 提供 此 功能 , 见 表 
7.4， 同 样 的 只 有 一 个 方法 ,因为 不 需要 产生 "最 后 的 消息 ”。 


Table 7.4 Message ToMessageEncoder API 


方法 名 m 
称 EES 


iR 


The encode method is the only abstract method you need to implement. It is 
called for each message written with write(...) to encode the message to one 
or multiple new outbound messages. The encoded messages are then 
forwarded 


encode 


下 面 例子 ， 我 们 将 要 解码 Integer 消息 到 String 消息 。 可 简单 使 用 
MessageToMessageEncoder 
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Figure 7.4 IntegerToStringEncoder 


encoder 从 出 站 字 节 流 提 取 Integer > VA String 形式 传递 给 ChannelPipeline 中 的 下 一 个 
ChannelOutboundHandler 。 清 单 7.6 显示 了 细节 。 


Listing 7.6 IntegerToStringEncoder encodes integer to string 


public class IntegerToStringEncoder extends 
MessageToMessageEncoder<Integer> { //1 


@Override 
public void encode(ChannelHandlerContext ctx, Integer msg, List<Object> out) 


throws Exception { 
out.add(String.valueOf(msg)); //2 


1. 实现 继承 自 MessageToMessageEncoder 
2. & Integer 为 String， 并 添加 到 MessageBuf 


更 复杂 的 MessageToMessageEncoder 应 用 案例 ， 可 以 查看 io.netty.handler.codec.protobuf 
包 下 的 ProtobufEncoder 


抽象 Codec(% A245 器) 类 


虽然 我 们 一 直 把 解码 器 和 编码 器 作为 不 同 的 实体 来 讨论 ， 但 你 有 时 可 能 会 发 现 把 入 站 和 出 站 
的 数据 和 信息 转换 都 放 在 同一 个 类 中 更 实用 。Netty 的 抽象 编 解码 器 类 就 是 用 于 这 个 目的 ， ES 
把 一 些 成 对 的 解码 器 和 编码 器 组 合 在 一 起 ， 以 此 来 提供 对 于 字 节 和 消息 都 相同 的 操作 。( 这 

类 实现 了 ChannellnboundHandler 和 ChannelOutboundHandler ) ° 


如 


您 可 能 想 知 道 是 否 有 时 候 使 用 单独 的 解码 器 和 编码 器 会 比 使 用 这 些 组 合 类 要 好 ， 最 简单 的 答 
案 是 ,紧密 耦合 的 两 个 函数 减少 了 他 们 的 可 重用 性 ,但 是 把 他 们 PARRA ESR R + 当 我 
们 研究 抽象 编 解 码 器 类 时 ， 我 们 也 会 拿 它 和 对 应 的 独立 的 解码 器 和 编码 器 做 对 比 。 


Byte ToMessageCodec 


我 们 需要 解码 字 节 到 消息 ,也 许 是 一 个 POJO, AG 44K » ByteToMessageCodec 将 为 我 们 处 
理 这 个 问题 ,因为 它 结合 了 ByteToMessageDecoder 和 MessageToByteEncoder。 表 7.5 中 列 
出 的 重要 方法 。 


Table 7.5 ByteToMessageCodec API 


方法 名 称 首 述 


This method is called as long as bytes are available to be consumed. It 
decode converts the inbound ByteBuf to the specified message format and 
forwards them to the next ChannellnboundHandler in the pipeline. 


The default implementation of this method delegates to decode(). It is 
decodeLast called only be called once, when the Channel goes inactive. For special 
handling it can be oerridden. 


This method is called for each message to be written through the 
encode ChannelPipeline. The encoded messages are contained in a ByteBuf 
which 


什么 会 是 一 个 好 的 ByteToMessageCodec 用 例 ?任何 一 个 请 求 /响应 协议 都 可 能 是 ,例如 
SMTP。 编 解码 器 将 读 取 入 站 字 节 并 解码 到 一 个 自 定义 的 消息 类 型 SmtpRequest 。 当 接收 到 
一 个 SmtpResponse 会 产生 ,用 于 编码 为 字 节 进行 传输 。 


MessageToMessageCodec 


7.3.2 节 中 我 们 看 到 的 一 个 例子 使 用 MessageToMessageEncoder 从 一 个 消息 格式 转换 到 另 一 
个 地 方 。 现 在 让 我 们 看 看 MessageToMessageCodec 是 如 何 处 理 单个 类 的 往返 


在 进入 细节 之 前 ,让 我 们 看 看 表 7.6 中 的 重要 方法 。 


Table 7.6 Methods of Message ToMessageCodec 


方法 名 称 ES 
This method is called with the inbound messages of the codec and 
decode decodes them to messages. Those messages are forwarded to the next 


ChannellnboundHandler in the ChannelPipeline 


Default implementation delegates to decode().decodeLast will only be 
decodeLast called one time, which is when the Channel goes inactive. If you need 
special handling here you may override decodeLast() to implement it. 


The encode method is called for each outbound message to be moved 
encode through the ChannelPipeline. The encoded messages are forwarded to 
the next ChannelOutboundHandler in the pipeline 


MessageToMessageCodec 是 一 个 参数 化 的 类 ， 定 义 如 下 : 


public abstract class MessageToMessageCodec<INBOUND, OUTBOUND> 


上 面 所 示 的 完整 签名 的 方法 都 是 这 样 的 


protected abstract void encode(ChannelHandlerContext ctx, 
OUTBOUND msg, List<Object> out) 
protected abstract void decode(ChannelHandlerContext ctx, 
INBOUND msg, List<Object> out) 


encode() 处 理 出 站 消息 类 型 OUTBOUND 到 INBOUND ; 而 decode() 则 相反 。 我 们 在 哪里 可 
能 使 用 这 样 的 编 解 码 器 ? 


在 现实 中 ,这 是 一 个 相当 常见 的 用 例 , 往 往 涉及 两 个 来 回转 换 的 数据 消息 传递 AP| 。 这 是 常 有 的 
事 , 当 我 们 不 得 不 与 遗留 或 专 有 的 消息 格式 进行 互 操作 。 


如 清单 7.7 所 示 这 样 的 可 能 性 。 在 这 个 例子 中 ,WebSocketConvertHandler <— 43$ ARE 
类 ， 继 承 了 参数 为 WebSocketFrame (类 型 为 INBOUND) 和 WebSocketFrame (类 型 为 
OUTBOUND) 的 MessageToMessageCode 


Listing 7.7 Message ToMessageCodec 


public class WebSocketConvertHandler extends MessageToMessageCodec<WebSocketFrame, Web 
SocketConvertHandler.WebSocketFrame» { //1 


public static final WebSocketConvertHandler INSTANCE = new WebSocketConvertHandler 
(); 


@Override 
protected void encode(ChannelHandlerContext ctx, WebSocketFrame msg, List<Object> 
out) throws Exception { 
ByteBuf payload = msg.getData().duplicate().retain(); 


switch (msg.getType()) 1 //2 

case BINARY: 
out.add(new BinaryWebSocketFrame(payload)); 
break; 

case TEXT: 
out.add(new TextWebSocketFrame(payload)); 
break; 

case CLOSE: 


out.add(new CloseWebSocketFrame(true, ©, payload)); 


break; 
case CONTINUATION: 


out.add(new ContinuationwebSocketFrame(payload)); 


break; 

case PONG: 
out.add(new PongWebSocketFrame(payload)); 
break; 

case PING: 
out.add(new PingWebSocketFrame(payload)); 
break; 

default: 


throw new IllegalStateException("Unsupported websocket msg " + msg); 


@Override 


protected void decode(ChannelHandlerContext ctx, io.netty.handler.codec.http.webso 


cketx.WebSocketFrame msg, List<Object> out) throws Exception { 
if (msg instanceof BinaryWebSocketFrame) { //3 
out.add(new WebSocketFrame(WebSocketFrame.FrameType 
copy())); 
} else if (msg instanceof CloseWebSocketFrame) { 
out.add(new WebSocketFrame(WebSocketFrame.FrameType 
opy())); 
) else if (msg instanceof PingWebSocketFrame) { 
out.add(new WebSocketFrame(WebSocketFrame.FrameType 
py())); 
} else if (msg instanceof PongWebSocketFrame) { 
out.add(new WebSocketFrame(WebSocketFrame.FrameType 
py())); 
) else if (msg instanceof TextWebSocketFrame) { 
out.add(new WebSocketFrame(WebSocketFrame.FrameType 
py())); 
} else if (msg instanceof ContinuationWebSocketFrame) { 
out.add(new WebSocketFrame(WebSocketFrame.FrameType 


ent().copy())); 
} else { 


.BINARY, msg.content(). 


.CLOSE, msg.content().c 


.PING, msg.content().co 


.PONG, msg.content().co 


. TEXT, msg.content().co 


.CONTINUATION, msg.cont 


throw new IllegalStateException("Unsupported websocket msg " + msg); 


public static final class WebSocketFrame { //4 
public enum FrameType { //5 
BINARY, 


CLOSE, 

PING, 

PONG, 

TEXT, 
CONTINUATION 


} 


private final FrameType type; 

private final ByteBuf data; 

public WebSocketFrame(FrameType type, ByteBuf data) { 
this.type = type; 
this.data = data; 

} 


public FrameType getType() { 
return type; 


} 


public ByteBuf getData() { 
return data; 


} 


1. 编码 WebSocketFrame 消息 转 为 WebSocketFrame 消息 

2. 检测 WebSocketFrame 的 FrameType 类 型 ， 并 且 创 建 一 个 新 的 响应 的 FrameType 类 型 
的 WebSocketFrame 

3. 通过 instanceof 来 检测 正确 的 FrameType 

4. 自 定 义 消 息 类 型 WebSocketFrame 

5. 枚 举 类 明确 了 WebSocketFrame 的 类 型 


CombinedChannelDuplexHandler 


如 前 所 述 ,结合 解码 器 和 编码 器 在 一 起 可 能 会 牺牲 可 重用 性 。 为 了 避免 这 种 方式 ， 并 且 部 署 一 
个 解码 器 和 编码 器 到 ChannelPipeline 作为 逻辑 单元 而 不 失 便 利 性 。 


关键 是 下 面 的 类 : 


public class CombinedChannelDuplexHandler<I extends ChannelInboundHandler,O extends Ch 
anneloutboundHandler> 


这 个 类 是 扩展 ChannellnboundHandler 和 ChannelOutboundHandler 参数 化 的 类 型 。 这 提供 
了 一 个 容器 ,单独 的 解码 器 和 编码 器 类 合作 而 无 需 直 接 扩 展 抽象 的 编 解 码 器 类 。 我 们 将 在 下 面 
的 例子 说 明 这 一 点 。 首 先 查看 ByteToCharDecoder ， 如 清单 7.8 所 示 。 


Listing 7.8 ByteToCharDecoder 


public class ByteToCharDecoder extends 
ByteToMessageDecoder { //1 


@Override 
public void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) 
throws Exception { 
if (in.readableBytes() >= 2) { //2 
out.add(in.readChar()); 


1. 继承 ByteToMessageDecoder 
2. 5 char 到 MessageBuf 


decode() 方法 从 输入 数据 中 提取 两 个 字 节 ,并 将 它们 作为 一 个 char S A List 。( 注 意 ,实现 扩展 
ByteToMessageDecoder 因为 它 从 ByteBuf 读 取 字 符 。) 


现在 看 一 下 清单 7.9 中 ,把 字符 转换 为 字 节 的 编码 器 。 


Listing 7.9 CharToByteEncoder 


public class CharToByteEncoder extends 
MessageToByteEncoder<Character> { //1 


@Override 
public void encode(ChannelHandlerContext ctx, Character msg, ByteBuf out) 
throws Exception { 
out.writeChar(msg); //2 


1. 继承 MessageToByteEncoder 
2. '5 char 到 ByteBuf 


这 个 实现 继承 自 MessageToByteEncoder 因为 他 需要 编码 char 消息 到 ByteBuf » 3x dp i 
将 字符 串 写 为 ByteBuf 。 


现在 我 们 有 编码 器 和 解码 器 ， 将 他 们 组 成 一 个 编 解 码 器 。 见 下 面 的 
CombinedChannelDuplexHandler. 


Listing 7.10 CombinedByteCharCodec 


public class CombinedByteCharCodec extends CombinedChannelDuplexHandler<ByteToCharDeco 
der, CharToByteEncoder> { 
public CombinedByteCharCodec() { 
super(new ByteToCharDecoder(), new CharToByteEncoder()); 
} 


1. CombinedByteCharCodec 的 参数 是 解码 器 和 编码 器 的 实现 用 于 处 理 进 站 字 节 和 出 站 消息 
2. 传递 ByteToCharDecoder 和 CharToByteEncoder 实例 到 super 构造 函数 来 委托 调用 使 
他 们 结合 起 来 。 


正如 你 所 看 到 的 , 它 可 能 是 用 上 述 方式 来 使 程序 更 简单 、 更 灵活 ,而 不 是 使 用 一 个 以 上 的 编 解 码 
器 类 。 它 也 可 以 归结 到 你 个 人 喜好 或 风格 。 


& 2S 


WS 

在 这 一 章 里 ,我 们 研究 了 Netty 的 codec API 来 编写 解码 器 和 编码 器 。 我 们 还 学 习 了 为 什么 最 
好 使 用 这 个 而 不 是 纯 ChannelHandler API ° 

我 们 看 到 不 同 的 抽象 编 解 码 器 类 提供 支持 来 处 理 在 一 个 类 中 实现 解码 和 编码 。 另 一 方面 ,如 果 


我 们 需要 更 大 的 灵活 性 ,希望 结合 现 有 实现 我 们 也 可 以 选择 结合 他 们 无 需 扩 展 抽象 编 解 码 器 的 
任何 类 。 


在 下 一 章 ,我 们 将 讨论 ChannelHandler 的 实现 和 编 解码 器 ,他 们 是 Netty 本 身 的 一 部 分 ， 您 可 
以 开 箱 即 用 的 处 理 特定 的 协议 和 任务 。 


已 经 提供 的 ChannelHandler 和 Codec 


本 章 介 绍 


e 使 用 SSL/TLS 加 密 Netty 程序 
构建 Netty HTTP/HTTPS 程序 
处 理 空闲 连接 和 超时 

。 解码 分 隔 符 和 基于 长 度 的 协议 
e 写 大 数据 

e 序列 化 数据 


Netty 提供 了 很 多 共同 协议 的 编 解码 器 和 处 理 程序 ,您 可 以 几乎 “ 开 箱 即 用 "的 使 用 他 们 ,而 无 需 花 
在 相当 乏味 的 基础 设施 问题 。 在 这 一 章 里 ,我 们 将 探索 这 些 工 具 和 他 们 的 好 处 。 这 和 包括 支持 
SSL/TLS,WebSocket 和 谷歌 SPDY, 通 过 数据 压缩 使 HTTP 有 更 好 的 性 能 。 


使 用 SSL/TLS 7» € Netty 程序 


今天 数据 隐私 是 一 个 十 分 关注 的 问题 ,作为 开发 人 员 , 我 们 需要 准备 好 解决 这 个 问题 。 至 少 我 们 
需要 熟悉 加 密 协 议 SSL fe TLS 等 之 上 的 其 他 协议 实现 数据 安全 。 作 为 一 个 HTTPS 网 站 的 用 
户 ,你 是 安全 。 当 然 ,这 些 协议 是 广泛 不 基于 http 的 应 用 程序 ,例如 安全 SMTP(SMTPS) 邮 件 服 
务 , 甚 至 关系 数据 库 系统 。 


为 了 支持 SSL/TLS,Java 提供 了 javax.net.ssl API 的 类 SslContext 和 SslEngine 使 它 相 对 简 
单 的 实现 解密 和 加 密 。Netty 的 利用 该 API 命名 SslHandler 的 ChannelHandler 实现 , 有 一 个 
内 部 SslEngine 做 实际 的 工作 © 


图 8.1 显 示 了 一 个 使 用 SslHandler 数据 流 图 。 


e Encrypted Uncrypted 










SsiHandier Uncrypted 


加 密 的 入 站 数据 被 SslHandler 拦截 ， 并 被 解密 
前 面 加 密 的 数据 被 SslHandler 解密 

平常 数据 传 过 SslHandler 

SslHandler 加 密 数 据 并 它 传 递 出 站 


上 mnN 一 


Figure 8.1 Data flow through SslHandler for decryption and encryption 


如 清单 8.1 所 示 一 个 SslHandler 使 用 Channellnitializer 添加 到 ChannelPipeline。( 回 想 一 下 ， 
4 Channel 注册 时 Channellnitializer 用 于 设置 ChannelPipeline 。) 


Listing 8.1 Add SSL/TLS support 


public class SslChannelInitializer extends ChannelInitializer<Channel> { 


private final SslContext context; 
private final boolean startTls; 
public SslChannelInitializer(SslContext context, 
boolean client, boolean startTls) { //1 
this.context - context; 
this.startTls = startTls; 


} 

@Override 

protected void initChannel(Channel ch) throws Exception { 
SSLEngine engine = context.newEngine(ch.alloc()); //2 
engine.setUseClientMode(client); //3 
ch.pipeline().addFirst("ssl", new SslHandler(engine, startTls)); //4 


1. 使 用 构造 函数 来 传递 SSLContext 用 于 使 用 (startTls 是 否 启 用 ) 

2. 从 SslContext 获得 一 个 新 的 SslEngine 。 给 每 个 SslHandler 实例 使 用 一 个 新 的 
SslEngine 

3. 设置 SslEngine X client X%# server 模式 

4. 添加 SslHandler 到 pipeline 作为 第 一 个 处 理 器 


在 大 多 数 情 况 下 ,SslHandler 将 成 为 ChannelPipeline 中 的 第 一 个 ChannelHandler 。 这 将 确 

保 所 有 其 他 ChannelHandler 应 用 他 们 的 逻辑 到 数据 后 加 密 后 才 发 生 , 从 而 确保 他 们 的 变化 是 

安全 的 。 

SslHandler 有 很 多 有 用 的 方法 ,如 表 8.1 所 示 。 例 如 ,在 握手 阶段 两 端 相 互 验证 ,商定 一 个 加 密 方 
法 。 您 可 以 配置 SslHandler 修改 其 行为 或 提供 在 SSL/TLS 握手 完成 后 发 送 通知 ,这 样 所 有 数 
据 都 将 被 加 密 。 SSL/TLS 握手 将 自动 执行 。 


Table 8.1 SslHandler methods 


名 称 描述 
SetiandshaKe MITISOH S) Set and get the timeout, after which the handshake 


setHandshakeTimeoutMillis(...) 


getHandshakeTimeoutMillis() ChannelFuture is notified of failure. 


setCloseNotifyTimeout(...) Set and get the timeout after which the close notify 
setCloseNotifyTimeoutMillis(...) ^ will time out and the connection will close. This also 
getCloseNotifyTimeoutMillis() results in having the close notify ChannelFuture fail. 


Returns a ChannelFuture that will be notified once 
the handshake is complete. If the handshake was 


hangshakeF utrel) done before it will return a ChannelFuture that 
contains the result of the previous handshake. 
Send the close_notify to request close and destroy 
close(...) 


the underlying SslEngine. 


使 用 SSL/TLS 加 密 Netty 程序 
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构建 Netty HTTP/HTTPS 应 用 


HTTP/HTTPS 是 最 常见 E ， 在 智能 手机 里 广泛 应 | 。 虽然 每 家 公司 都 有 一 个 主页 ,您 
可 以 通过 HTTP 或 HTTPS 访 问 ,这 不 是 它 唯一 的 使 用 。 许 多 组 织 通过 HTTP(S) 公开 
WebService API , 4 # M nd LW) Git KA Sam o AEF Netty 提供 的 
ChannelHandler, 是 如 何 允 许 您 使 用 HTTP 和 HTTPS 而 无 需 编 写 自 己 的 编 解 码 器 


HTTP Decoder Encoder 和 Codec 


HTTP 是 请 求 -响应 模式 ， 客 户 端 发 送 一 个 HTTP 请 求 ， 服 务 就 响应 此 请 求 。Netty 提供 了 简 
单 的 编码 、 解 码 器 来 简化 基于 这 个 协议 的 开发 工作 。 图 8.2 和 图 8.3 显 示 HTTP 请 求 和 响应 的 方 
法 是 如 何 生产 和 消费 的 


FullHttpRequest 


2 3 
HttpRequest || HttpContent | | HttpContent — 
poan p HttpContent 


HTTP Request 第 一 部 分 是 包含 的 头 信息 

HttpContent 里 面包 含 的 是 数据 ， 可 以 后 续 有 多 个 HttpContent 部 分 
LastHttpContent 标记 是 HTTP request 的 结束 ， 同 时 可 能 包含 头 的 尾部 信息 
完整 的 HTTP request 





FON = 


Figure 8.2 HTTP request component parts 


FullHttpResponse 


Last 
HttpResponse | | HitpContent | | HitpContent | | HtpContent 





HTTP response 第 一 部 分 是 包含 的 头 信 息 

HttpContent 里 面包 含 的 是 数据 ， 可 以 后 续 有 多 个 Hure 部 分 
LastHttpContent 标记 是 HTTP response 的 结束 ， 同 时 可 能 包含 头 的 尾部 信息 
完整 的 HTTP response 


FON = 


Figure 8.3 HTTP response component parts 
如 图 8.2 和 8.3 所 示 的 HTTP 请 求 /响应 可 能 包含 不 止 一 个 数据 部 分 , 它 总 是 终止 于 
LastHttpContent 部 分 。FullHttpRequest 和 FullHttpResponse 消息 是 特殊 子 类 型 ,分 别 表示 一 
个 完整 的 请 求 和 响应 。 所 有 类 型 的 HTTP 消息 (FullHttpRequest ，LastHttpContent 以 及 那些 
如 清单 8.2 所 示 ) 实 现 HttpObject 接口 。 
表 8.2 概 述 HTTP 解码 器 和 编码 器 的 处 理 和 生产 这 些 消息 。 
Table 8.2 HTTP decoder and encoder 

名 称 ah att 


Encodes HttpRequest , HttpContent and LastHttpContent 


HttpRequestEncoder messages to bytes. 


Encodes HttpResponse, HttpContent and LastHttpContent 


HttpResponseEncoder messages to bytes. 

Decodes bytes into HttpRequest, HttpContent and 
pine caueets eGoger LastHttpContent messages. 
HttpResponseDecoder Decodes bytes into HttpResponse, HttpContent and 


LastHttpContent messages. 


清单 8.2 所 示 的 是 将 支持 HTTP 添加 到 您 的 应 用 程序 是 多 么 简单 。 仅 仅 添加 正确 的 
ChannelHandler 到 ChannelPipeline 中 


Listing 8.2 Add support for HTTP 


public class HttpPipelineInitializer extends ChannelInitializer<Channel> { 
private final boolean client; 


public HttpPipelineInitializer(boolean client) { 
this.client = client; 


} 


@Override 
protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline - ch.pipeline(); 
if (client) { 
pipeline.addLast("decoder", new HttpResponseDecoder()); //1 
pipeline.addLast("encoder", new HttpRequestEncoder()); //2 
} else { 
pipeline.addLast("decoder", new HttpRequestDecoder()); //3 
pipeline.addLast("encoder", new HttpResponseEncoder()); //4 


client: 添加 HttpResponseDecoder 用 于 处 理 来 自 server 响应 
client: 添加 HttpRequestEncoder 用 于 发 送 请 求 到 server 
server: 添加 HttpRequestDecoder 用 于 接收 来 自 client 的 请 求 
server: 添加 HttpResponseEncoder 用 来 发 送 响应 给 client 


Sw 


HTTP 消 息 聚 合 


安装 ChannelPipeline 中 的 初始 化 之 后 ,你 能 够 对 不 同 HttpObject 消息 进行 操作 。 但 由 于 
HTTP 请 求 和 响应 可 以 由 许多 部 分 组 合 而 成 ， 你 需要 聚合 他 们 形成 完整 的 消息 。 为 了 消除 这 种 
KEZ > Netty 提供 了 一 个 聚合 器 ,合并 消息 部 件 到 FullHttpRequest 和 FullHttpResponse 
消息 。 这 样 您 总 是 能 够 看 到 完整 的 消息 内 容 。 


人 段 需要 缓冲 , 直 全 可 以 将 消息 转发 到 下 一 个 
ChannellnboundHandler 管道 。 但 好 处 是 ,你 消息 碎片 。 


实现 自动 聚合 只 需 添加 另 一 个 ChannelHandler 到 ChannelPipeline。 清 单 8.3 显 示 了 这 是 如 何 
实现 的 。 


Listing 8.3 Automatically aggregate HTTP message fragments 


public class HttpAggregatorInitializer extends ChannelInitializer<Channel> { 
private final boolean client; 


public HttpAggregatorInitializer(boolean client) { 
this.client = client; 


} 


@Override 
protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline = ch.pipeline(); 
if (client) { 
pipeline.addLast("codec", new HttpClientCodec()); //1 
} else { 
pipeline.addLast("codec", new HttpServerCodec()); //2 


} 
pipeline.addLast("aggegator", new HttpObjectAggregator(512 * 1024)); //3 


1. client: 添加 HttpClientCodec 
2. server: 添加 HttpServerCodec 作为 我 们 是 server 模式 时 
3. 添加 HttpObjectAggregator 到 ChannelPipeline, 使 用 最 大 消息 值 是 512kb 


HTTP 压缩 


使 用 HTTP 时 建议 压缩 数据 以 减少 传输 流量 ， 压 缩 数据 会 增加 CPU 负载 ， 现 在 的 硬件 设施 都 
很 强大 ， 大 多 数 时 候 压缩 数据 时 一 个 好 主意 。Netty 支持 “gzip”" 和 “deflate”， 为 此 提供 了 两 个 
ChannelHandler 实现 分 别 用 于 压缩 和 解压 。 看 下 面 代码 : 


HTTP Request Header 


客户 端 可 以 通过 提供 下 面 的 头 显示 支持 加 密 模式 。 然 而 服务 器 不 是 ,所 以 不 得 不 压缩 它 发 送 的 
数据 。 


GET /encrypted-area HTTP/1.1 
Host: www.example.com 
Accept-Encoding: gzip, deflate 


下 面 是 一 个 例子 


Listing 8.4 Automatically compress HTTP messages 


public class HttpAggregatorInitializer extends ChannelInitializer<Channel> { 


private final boolean isClient; 
public HttpAggregatorInitializer(boolean isClient) { 
this.isClient = isClient; 
} 
@Override 
protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline - ch.pipeline(); 
if (isclient) { 
pipeline.addLast("codec", new HttpClientCodec()); //1 
pipeline.addLast("decompressor",new HttpContentDecompressor()); //2 
} else { 
pipeline.addLast("codec", new HttpServerCodec()); //3 
pipeline.addLast("compressor",new HttpContentCompressor()); //4 


} 
} 
} 

1. client: 添加 HttpClientCodec 

2. client: 添加 HttpContentDecompressor 用 于 处 理 来 自 服 务 器 的 压缩 的 内 容 

3. server: HttpServerCodec 

4. server: HttpContentCompressor 用 于 压缩 来 自 client 支持 的 HttpContentCompressor 
压缩 与 依赖 


注意 ，Java 6 或 者 更 早 版 本 ， 如 果 要 压缩 数据 ， 需 要 添加 jzlib 到 classpath 


<dependency> 
<groupiId>com. jcraft</groupId> 
<artifactId>jzlib</artifactId> 
<version>1.1.3</version> 
</dependency> 


使 用 HTTPS 


启用 HTTPS， 只 需 添 加 SslHandler 


Listing 8.5 Using HTTPS 


public class HttpsCodecInitializer extends ChannelInitializer<Channel> { 


private final SslContext context; 
private final boolean client; 


public HttpsCodecInitializer(SslContext context, boolean client) { 
this.context = context; 
this.client = client; 


@Override 

protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline - ch.pipeline(); 
SSLEngine engine - context.newEngine(ch.alloc()); 
pipeline.addFirst("ssl", new SslHandler(engine)); //1 


if (client) { 

pipeline.addLast("codec", new HttpClientCodec()); //2 
} else { 

pipeline.addLast("codec", new HttpServerCodec()); //3 


1. 添加 SslHandler 到 pipeline 来 启用 HTTPS 
2. client: 添加 HttpClientCodec 
3. server: 添加 HttpServerCodec ， 如 果 是 server 模式 的 话 


上 面 的 代码 就 是 一 个 很 好 的 例子 ， 解 释 了 Netty 的 架构 是 如 何 让 "重用 " 变 成 了 “杠杆 ”。 我 们 可 
以 添加 一 个 新 的 功能 ,其 至 是 一 样 重要 的 加 密 支持 ,几乎 没有 工作 量 ,只 需 添加 一 个 
ChannelHandler 到 ChannelPipeline ° 


WebSocket 


HTTP 是 不 错 的 协议 ， 但 是 如 果 需 要 实时 发 布 信息 怎么 做 ? 有 个 做 法 就 是 客户 端 一 直 轮 询 请 求 
服务 器 ， 这 种 方式 虽然 可 以 达到 目的 ， 但 是 其 缺点 很 多 ， 也 不 是 优秀 的 解决 方案 ， 为 了 解决 
这 个 问题 ， 便 出 现 了 WebSocket » 


WebSocket 允许 数据 双向 传输 ， 而 不 需要 请 求 -响应 模式 。 早 期 的 WebSocket 只 能 发 送 文本 
数据 ， 然 后 现在 不 仅 可 以 发 送 文本 数据 ， 也 可 以 发 送 二 进 制 数 据 ， 这 使 得 可 以 使 用 
WebSocket 构建 你 想 要 的 程序 。 下 图 是 WebSocket 的 通信 示例 图 : 


WebSocket 规范 及 其 实现 是 为 了 一 个 更 有 效 的 解决 方案 。 简 单 的 说 , 一 个 WebSocket 提供 一 
个 TCP 3 A » 结合 WebSocket API 它 提供 了 一 个 替代 HTTP 轮 询 双向 通信 
从 页 面 到 远程 服务 器 


也 就 是 说 ,WebSocket 提供 丨 正 的 双向 客户 机 和 服务 器 之 间 的 数据 交换 。 我 们 不 会 对 内 部 太 多 
的 细节 ,但 我 们 应 该 提 到 ,虽然 最 早 实现 仅 限 于 文本 数据 ， 但 现在 不 再 是 这 样 ,WebSocket 可 以 用 
于 任意 数据 ,就 像 一 个 正常 的 套 接 字 。 


图 8.4 给 出 了 一 个 通用 的 WebSocket 协议 。 在 这 种 情况 下 的 通信 开始 于 普通 HTTP ， 并 “ 升 
级 "为 双向 WebSocket ° 
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4. 连接 协议 升级 至 WebSocket 


Figure 8.4 WebSocket protocol 


添加 应 用 程序 支持 WebSocket 只 需要 添加 适当 的 客户 端 或 服务 器 端 WebSocket 
ChannelHandler 到 管道 。 这 个 类 将 处 理 特殊 WebSocket 定义 的 消息 类 型 , 称 为 " 帧 。“ 如 表 8.3 
所 示 , 这 些 可 以 归 类 为 “数据 "和 "控制 ? 帧 。 


Table 8.3 WebSocketFrame types 


名 称 
BinaryWebSocketFrame 
TextWebSocketFrame 


ContinuationWebSocketFrame 


CloseWebSocketFrame 


PingWebSocketFrame 


PongWebSocketFrame 


AL 
BE 
i 


Data frame: binary data 
Data frame: text data 


Data frame: text or binary data that belongs to a 
previous BinaryWebSocketFrame or 
TextWebSocketFrame 


Control frame: a CLOSE request, close status code 
and a phrase 


Control frame: requests the send of a 
PongWebSocketFrame 


Control frame: sent as response to a 
PingWebSocketFrame 


由 于 Netty 的 主要 是 一 个 服务 器 端 技术 重点 在 这 里 创建 一 个 WebSocket server 。 清 单 8.6 使 
用 WebSocketServerProtocolHandler 提出 了 一 个 简单 的 例子 。 该 类 处 理 协 议 升级 握手 以 及 三 
个 “控制 ? 帧 Close, Ping 和 Pong ° Text 和 Binary 数据 帧 将 被 传递 到 下 一 个 处 理 程序 (由 你 实 


现 ) 进 行 处 理 。 


Listing 8.6 Support WebSocket on the server 


public class WebSocketServerInitializer extends ChannelInitializer<Channel> { 
@Override 
protected void initChannel(Channel ch) throws Exception { 
ch.pipeline().addLast( 
new HttpServerCodec(), 
new HttpObjectAggregator(65536), //1 
new WebSocketServerProtocolHandler("/websocket"), //2 
new TextFrameHandler(), //3 
new BinaryFrameHandler(), //4 
new ContinuationFrameHandler());  //5 


public static final class TextFrameHandler extends SimpleChannelInboundHandler<Tex 
twebSocketFrame» { 
@Override 
public void channelReadO(ChannelHandlerContext ctx, TextWebSocketFrame msg) th 
rows Exception { 
// Handle text frame 


public static final class BinaryFrameHandler extends SimpleChannelInboundHandler<B 
inaryWebSocketFrame» { 
@Override 
public void channelReadO(ChannelHandlerContext ctx, BinaryWebSocketFrame msg) 
throws Exception { 
// Handle binary frame 


public static final class ContinuationFrameHandler extends SimpleChannellInboundHan 
dler<ContinuationWebSocketFrame> { 
@Override 
public void channelReadO(ChannelHandlerContext ctx, ContinuationWebSocketFrame 
msg) throws Exception { 
// Handle continuation frame 


1. 添加 HttpObjectAggregator 用 于 提供 在 握手 时 聚合 HttpRequest 

2. 添加 WebSocketServerProtocolHandler 用 于 处 理 色 好 给 你 寄 握 手 如 果 请 求 是 发 送 
到 "/websocket." 端点 ， 当 升级 完成 后 ， 它 将 会 处 理 Ping, Pong 和 Close ti 

3. TextFrameHandler 将 会 处 理 TextWebSocketFrames 

4. BinaryFrameHandler 将 会 处 理 BinaryWebSocketFrames 
ContinuationFrameHandler 将 会 处 理 ContinuationWebSocketFrames 


加 密 WebSocket 只 需 插 入 SslHandler 到 作为 pipline 第 一 个 ChannelHandler 


详 见 Chapter 11 WebSocket 


SPDY 


SPDY ( 读 作 “SPeeDY”) 是 Google 开发 的 基于 TOP 的 应 用 层 协 议 ， 用 以 最 小 化 网 络 延 迟 ， 
提升 网 络 速 度 ， 优 化 用 户 的 网 络 使 用 体验 。SPDY 并 不 是 一 种 用 于 替代 HTTP 的 协议 ， 而 是 
对 HTTP 协议 的 增强 。SPDY 实现 技术 : 


e 压缩 报头 

e 加 密 所 有 

e 多 路 复 用 连接 

e 提供 支持 不 同 的 传输 优先 级 


SPDY 主要 有 5 个 版 本 : 


e 1 - 初始 化 版 本 ， 但 没有 使 用 

e 2- lags 3 推送 

e 3 - 新 特性 包含 流 控制 和 更 新 压缩 

。 3.1- 会 de 

e 4.0 - 流量 控制 ， 并 与 HTTP 2.0 更 加 集成 


SPDY 被 很 多 浏览 器 支持 ， 包 括 Google Chrome, Firefox, 和 Opera 


Netty 支持 版 本 2 和 3 (& 23.1) 的 支持 。 这 些 版 本 被 广泛 应 用 ， 可 以 支持 更 多 的 用 户 。 更 
多 内 容 详 见 Chapter 12 


空闲 连接 以 及 超时 


检测 空闲 连接 和 超时 是 为 了 及 时 释放 资源 。 常 见 的 方法 发 送 消息 用 于 测试 一 个 不 活跃 的 连接 
来 ,通常 称 为 “心跳 ,到 远 端 来 确定 它 是 否 还 活着 。( 一 个 更 激进 的 方法 是 简单 地 断 开 那 些 指定 的 
时 间 间 隔 的 不 活跃 的 连接 ) 。 

处 理 空闲 连接 是 一 项 常见 的 任务 ,Netty 提供 了 几 个 ChannelHandler 实现 此 目的 。 表 8.4 概 


Table 8.4 ChannelHandlers for idle connections and timeouts 


A VES 
如 果 连 接 闲置 时 间 过 长 ， 则 会 触发 ldleStateEvent 事件 。 在 
IdleStateHandler ChannellnboundHandler 中 可 以 覆盖 userEventTriggered(...) 7 


法 来 处 理 IdleStateEvent ° 


在 指定 的 时 间 间 隔 内 没有 接收 到 入 站 数据 则 会 抛 出 
ReadTimeoutException 并 关闭 Channel。 
ReadTimeoutException T A428 i$ % & ChannelHandler 的 
exceptionCaught(...) 方法 检测 到 。 


ReadTimeoutHandler 


WriteTimeoutException 可 以 通过 覆盖 ChannelHandler 的 


WriteTimeoutHandler exceptionCaught(...) 方法 检测 到 。 


详细 看 下 ldleStateHandler， 下 面 是 一 个 例子 ， 当 超过 60 秒 没有 数据 收 到 时 ， 就 会 得 到 通知 ， 
此 时 就 发 送 心跳 到 远 端 ， 如 果 没 有 回应 ， 连 接 就 关闭 。 


Listing 8.7 Sending heartbeats 


3. 
4. 


E 
ISIN 


public class IdleStateHandlerInitializer extends ChannelInitializer<Channel> { 


@Override 

protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline - ch.pipeline(); 
pipeline.addLast(new IdleStateHandler(0, ©, 60, TimeUnit.SECONDS)); //1 
pipeline.addLast(new HeartbeatHandler()); 


public static final class HeartbeatHandler extends ChannelInboundHandlerAdapter ( 
private static final ByteBuf HEARTBEAT SEQUENCE - Unpooled.unreleasableBuffer( 
Unpooled.copiedBuffer("HEARTBEAT", CharsetUtil.ISO 8859 1)); //2 


@Override 
public void userEventTriggered(ChannelHandlerContext ctx, Object evt) throws E 
xception { 
if (evt instanceof IdleStateEvent) { 
ctx.writeAndFlush(HEARTBEAT SEQUENCE.duplicate()) 
.addListener(ChannelFutureListener.CLOSE ON FAILURE); //3 


) else { 
super.userEventTriggered(ctx, evt); //4 
j 
} 
} 
} 
IdleStateHandler 将 通过 IdleStateEvent 调用 userEventTriggered ， 如 果 连 接 没 有 接收 
或 发 送 数据 超过 60 秒 钟 
心跳 发 送 到 远 端 
发 送 的 心跳 并 添加 一 个 侦 听 器 ， 如 果 发 送 操作 失败 将 关闭 连接 
事件 不 是 一 个 IdleStateEvent 的 话 ， 就 将 它 传 递 给 下 一 个 处 理 程序 
而 言 之 ,这 个 例子 说 明了 如 何 使 用 IdlestateHandler 测试 远 端 是 否 还 活着 ， 如 果 不 是 就 关闭 


解码 分 隔 符 和 基于 长 度 的 协议 


使 用 Netty 时 会 遇 到 需要 解码 以 分 隔 符 和 长 度 为 基础 的 协议 ， 本 节 讲解 Netty 如 何 解码 这 些 协 
dis 
分 隔 符 协议 


经 常 需要 处 理 分 隔 符 协议 或 创建 基于 它们 的 协议 ， 例 如 SMTP、POP3、IMAP、Telnet 等 等 。 
Netty 附带 的 解码 器 可 以 很 容易 的 提取 一 些 序列 分 隔 : 


Table 8.5 Decoders for handling delimited and length-based protocols 


A f 描述 
3 AX ZA AAE HE a 
站 and 人 或 多 个 分 隔 符 拆 分 ， 如 NUL 或 换行 


LineBasedFrameDecoder 接收 ByteBuf 尺 分割 线 结束 ， 如 An" 和 mn" 


下 图 显示 了 使 用 "\r\n" 分 隔 符 的 处 理 : 


Byte Stream Frames 


ABC\r\nDEF\rin Soa ABC\r\n DEF \r\n 





Figure 8.5 Handling delimited frames 
下 面 展示 了 如 何 用 LineBasedFrameDecoder 处 理 


Listing 8.8 Handling line-delimited frames 


public class LineBasedHandlerInitializer extends ChannelInitializer<Channel> { 


@Override 

protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline - ch.pipeline(); 
pipeline.addLast(new LineBasedFrameDecoder(65 * 1024)); //1 
pipeline.addLast(new FrameHandler()); //2 


public static final class FrameHandler extends SimpleChannelInboundHandler<ByteBuf 


E 


@Override 


public void channelReadO(ChannelHandlerContext ctx, ByteBuf msg) throws Except 


ion { //3 
// Do something with the frame 


1. 添加 一 个 LineBasedFrameDecoder 用 于 提取 帧 并 把 数据 包 转 发 到 下 一 个 管道 
程序 ,在 这 种 情况 下 就 是 FrameHandler 

2. 添加 FrameHandler 用 于 接收 帧 

3. 每 次 调用 都 需要 传递 一 个 单 帧 的 内 容 


使 用 DelimiterBasedFrameDecoder 可 以 方便 处 理 特 定 分 隔 符 作 为 数据 结构 体 的 这 
如 下 : 


e 传 入 的 数据 流 是 一 系列 的 帧 ， 每 个 由 换行 分 隔 
e 每 帧 包括 一 系列 项 目 ， 每 个 由 单个 空格 字符 分 
A ul ee 


清单 8.9 中 显示 了 的 实现 的 方式 。 定 义 以 下 类 : 


。 X Cmd - 存储 帧 的 内 容 ， 其 中 一 个 ByteBuf 用 于 存 名 字 ， 另 外 一 个 存 参数 


首 中 的 处 理 


类 情 况 。 


。 X CmdDecoder - 从 重 写 方法 decode() 中 检索 一 行 ， 并 从 其 内 容 中 构建 一 个 Cmd HE 


fh 
e X CmdHandler - 从 CmdDecoder 接收 解码 Cmd * $ fe sq © 8 — 35 Ab 39 o 


— 


所 以 关键 的 解码 器 是 扩展 了 LineBasedFrameDecoder 


Listing 8.9 Decoder forthe command and the handler 


public class CmdHandlerInitializer extends ChannelInitializer<Channel> { 


@Override 

protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline - ch.pipeline(); 
pipeline.addLast(new CmdDecoder(65 * 1024));//1 


pipeline.addLast(new CmdHandler()); //2 


public static final class Cmd { //3 
private final ByteBuf name; 
private final ByteBuf args; 


public Cmd(ByteBuf name, ByteBuf args) { 
this.name = name; 
this.args = args; 


public ByteBuf name() { 
return name; 


public ByteBuf args() { 
return args; 


public static final class CmdDecoder extends LineBasedFrameDecoder { 
public CmdDecoder(int maxLength) { 
super (maxLength) ; 


@Override 
protected Object decode(ChannelHandlerContext ctx, ByteBuf buffer) throws Exce 


ption { 
ByteBuf frame = (ByteBuf) super.decode(ctx, buffer); //4 
if (frame == null) { 
return null; //5 
j 
int index - frame.indexOf(frame.readerIndex(), frame.writerIndex(), (byte) 
(oy A) 


return new Cmd(frame.slice(frame.readerIndex(), index), frame.slice(index 
+1, frame.writerIndex())); //7 
} 


public static final class CmdHandler extends SimpleChannelInboundHandler<Cmd> { 
@Override 
public void channelReadO(ChannelHandlerContext ctx, Cmd msg) throws Exception 


{ 
// Do something with the command //8 
} 
} 
} 
1. 添加 一 个 CmdDecoder 到 管道 ; 将 提取 Cmd 对 象 和 转发 到 在 管道 中 的 下 一 个 处 理 器 
2. 添加 CmdHandler 将 接收 和 处 理 Cmd 对 象 


命令 也 是 POJO 

. super.decode() 通过 结束 分 隔 从 ByteBuf 提取 帧 

frame 是 空 时 ， 则 返回 null 

找到 第 一 个 空 字符 的 索引 。 首 先是 它 的 命令 名 ; 接 下 来 是 参数 的 顺序 
.从 帧 先 于 索引 以 及 它 之 后 的 片段 中 实例 化 一 个 新 的 Cmd 对 象 

. 处理 通过 管道 的 Cmd 对 象 


O NAA A w 


基于 长 度 的 协议 


基于 长 度 的 协议 协议 在 帧 头 文件 里 定义 了 一 个 帧 编码 的 长 度 ,而 不 是 结束 位 置 用 一 个 特殊 的 分 
隔 符 来 标记 。 表 8.6 列 出 了 Netty 提供 的 两 个 解码 器 ， 用 于 处 理 这 种 类 型 的 协议 。 


Table 8.6 Decoders for length-based protocols 


名 称 描述 
FixedLengthFrameDecoder 提取 固定 长 度 
LengthFieldBasedFrameDecoder 读 取 头 部 长 度 并 提取 帧 的 长 度 


如 下 图 所 示 ，FixedLengthFrameDecoder 的 操作 是 提取 固定 长 度 每 帧 8 字 节 


Before Decode After Decode 


1 o 8 8 8 
32 bytes ANANN bytes bytes bytes bytes 


1. ZA stream 
2. 4 个 帧 ， 每 个 帧 8 个 字 节 


大 部 分 时 候 帧 的 大 小 被 编码 在 头 部 ， 这 种 情况 可 以 使 用 LengthFieldBasedFrameDecoder， 它 
会 读 取 头 部 长 度 并 提取 帧 的 长 度 。 下 图 显示 了 它 是 如 何 工作 的 : 


Before Decode (14 bytes) After Decode (12 bytes) 















Actual Content 
"HELLO. WORLD" 


Actual Content 
"HELLO. WORLD" 


SS 


1. 长度 "0x000C" (12) 被 编码 在 帧 的 前 两 个 字 节 
2， 后 面 的 12 个 字 节 就 是 内 容 


3. 提取 没有 头 文件 的 帧 内 容 
Figure 8.7 Message that has frame size encoded in the header 


LengthFieldBasedFrameDecoder 提供 了 几 个 构造 函数 覆盖 各 种 各 样 的 头 长 字段 配置 情况 。 
清单 8.10 显 示 了 使 用 三 个 参数 的 构造 函数 是 maxFrameLength,lengthFieldOffset 
lengthFieldLength。 在 这 情况 下 , 帧 的 长 度 被 编码 在 帧 的 前 8 个 字 节 。 


Listing 8.10 Decoder for the command and the handler 


public class LengthBasedInitializer extends ChannelInitializer<Channel> { 
@Override 
protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline = ch.pipeline(); 
pipeline.addLast( 
new LengthFieldBasedFrameDecoder(65 * 1024, 0, 8)); //1 
pipeline.addLast(new FrameHandler()); //2 


public static final class FrameHandler 
extends SimpleChannelInboundHandler<ByteBuf> { 
@Override 
public void channelReadO(ChannelHandlerContext ctx, 
ByteBuf msg) throws Exception { 
// Do something with the frame //3 


j 


. 添加 一 个 LengthFieldBasedFrameDecoder ,用 于 提取 基于 帧 编码 长 度 8 个 字 节 的 帧 。 
2. 添加 一 个 FrameHandler 用 来 处 理 每 帧 
3. 处 理 帧 数据 


总 而 言 之 ,本 部 分 探讨 了 Netty 提供 的 编 解码 器 支持 协议 ,包括 定义 特定 的 分 隔 符 的 字 节 流 的 结 
构 或 协议 帧 的 长 度 。 这 些 编 解码 器 非常 有 用 “。 


编写 大 型 数据 


由 于 网 络 的 原因 ， 如 何 有 效 的 写 大 数据 在 异步 框架 是 一 个 特殊 的 问题 。 因 为 写 操作 是 非 阻塞 
的 ， 即 便 是 在 数据 不 能 写 出 时 ,只 是 通知 ChannelFuture 完成 了 。 当 这 种 情况 发 生 时 ,你 必须 停 
止 写 操作 或 面临 内 存 耗 尽 的 风险 。 所 以 写 时 ,会 产生 大 量 的 数据 ,我 们 需要 做 好 准备 来 处 理 的 这 
种 情况 下 的 缓慢 的 连接 远 端 导 致 延迟 释放 内 存 的 问题 你 。 作 为 一 个 例子 让 我 们 考虑 写 一 个 文 
件 的 内 容 到 网 络 。 


在 我 们 的 讨论 传输 ( 见 4.2 节 ) 时 ， 我 们 提 到 了 NIO 的 “zero-copy (RÆ N ) "功能 ,消除 移动 一 个 
文件 的 内 容 从 文件 系统 到 网 络 堆栈 的 复制 步骤 。 所 有 这 一 切 发 生 在 Netty 的 核心 ,因此 所 有 所 
需 的 应 用 程序 代码 是 使 用 interface FileRegion 的 实现 ,在 Netty 的 API 文档 中 定义 如 下 为 一 个 
通过 Channel 支持 zero-copy 文件 传输 的 文件 区 域 。 


下 面 演示 了 通过 zero-copy 将 文件 内 容 从 FilelnputStream 创建 DefaultFileRegion 并 写 入 使 
用 Channel 


Listing 8.11 Transferring file contents with FileRegion 


FileInputStream in = new FileInputStream(file); //1 
FileRegion region = new DefaultFileRegion(in.getChannel(), 0, file.length()); //2 


channel.writeAndFlush(region).addListener(new ChannelFutureListener() { //3 
@Override 
public void operationComplete(ChannelFuture future) throws Exception { 
if (!future.isSuccess()) { 
Throwable cause - future.cause(); //4 
// Do something 


} 
3); 


获取 FilelnputStream 

创建 一 个 新 的 DefaultFileRegion 用 于 文件 的 完整 长 度 

发 送 DefaultFileRegion 并 且 注 册 一 个 ChannelFutureListener 
处 理发 送 失 败 


D> 


只 是 看 到 的 例子 只 适用 于 直接 传输 一 个 文件 的 内 容 , 没 有 执行 的 数据 应 用 程序 的 处 理 。 在 相反 
的 情况 下 ,将 数据 从 文件 系统 复制 到 用 户 内 存 是 必需 的 ,您 可 以 使 用 ChunkedWriteHandler。 这 
个 类 提供 了 支持 异步 写 大 数据 流 不 引起 高 内 存 消耗 。 


这 个 关键 是 interface Chunkedlnput， 实 现 如 下 : 


名 称 uu 
当 你 使 用 平台 不 支持 zero-copy 或 者 你 需要 转换 数据 ， 从 文件 中 


ChunkedFile 一 块 一 块 的 获取 数据 
ChunkedNioFile 与 ChunkedFile 类 似 ， 处 理 使 用 了 NIOFileChannel 
ChunkedStream JA InputStream 中 一 块 一 块 的 转移 内 容 


ChunkedNioStream 从 ReadableByteChannel 中 一 块 一 块 的 转移 内 容 


清单 8.12 演示 了 使 用 ChunkedStream, 实 现在 实践 中 最 常用 。 所 示 的 类 被 实例 化 一 个 File 和 
一 个 SslContext。 当 initChannel() 被 调用 来 初始 化 显示 的 处 理 程序 链 的 通道 。 


当 通 道 激活 时 ，WriteStreamHandler 从 文件 一 块 一 块 的 写 入 数据 作为 ChunkedStream 。 最 后 
将 数据 通过 SslHandler 加 密 后 传播 。 


Listing 8.12 Transfer file content with FileRegion 


public class ChunkedWriteHandlerInitializer extends ChannelInitializer<Channel> { 
private final File file; 
private final SslContext sslCtx; 


public ChunkedwriteHandlerInitializer(File file, SslContext sslCtx) { 
this.file - file; 
this.sslCtx - sslCtx; 

} 


@Override 

protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline - ch.pipeline(); 
pipeline.addLast(new SslHandler(sslCtx.createEngine()); //1 
pipeline.addLast(new ChunkedwriteHandler());//2 
pipeline.addLast(new WriteStreamHandler());//3 


} 


public final class WriteStreamHandler extends ChannelInboundHandlerAdapter { //4 


@Override 

public void channelActive(ChannelHandlerContext ctx) throws Exception { 
super .channelActive(ctx); 
ctx.writeAndFlush(new ChunkedStream(new FileInputStream(file))); 


} 
} 
} 
1. 添加 SslHandler 到 ChannelPipeline. 
2. 添加 ChunkedWriteHandler 用 来 处 理 作为 Chunkedlnput 传 进 的 数据 
3， 当 连接 建立 时 ，WriteStreamHandler 开始 写 文 件 的 内 容 
4.， 当 连接 建立 时 ，channelActive() 触发 使 用 Chunkedlnput 来 写 文件 的 内 容 (插图 显示 了 


FilelnputStream; 也 可 以 使 用 任何 InputStream ) 


ChunkedInput 所 有 被 要 求 使 用 自己 的 Chunkedlnput 实现 ， 是 安装 ChunkedWriteHandler 在 
管道 中 
在 本 节 中 ,我 们 讨论 


e 如 何 采用 zero-copy 〈 零 拷贝 ) 功能 高 效 地 传输 文件 
e 如 何 使 用 ChunkedWriteHandler 编写 大 型 数据 而 避免 OutOfMemoryErrors 错误 。 


在 下 一 节 中 我 们 将 研究 几 种 不 同方 法 来 序列 化 POJO 。 


序列 化 数据 


JDK 提供 了 ObjectOutputStream 和 ObjectlnputStream 通过 网 络 将 原始 数据 类 型 和 POJO 
进行 序列 化 和 反 序 列 化 。API 并 不 复杂 ,可 以 应 用 到 任何 对 象 ,支持 java.io.Serializable 接口 。 
但 它 也 不 是 非常 高 效 的 。 在 本 节 中 ,我 们 将 看 到 Netty 所 提供 的 。 


JDK 序列 化 


如 果 程 序 与 端 对 端 间 的 交互 是 使 用 ObjectOutputStream 和 ObjectInputStream， 并 且 主 要 面 
临 的 问题 是 兼容 性 ， 那 么 ，JDK 序列 化 是 不 错 的 选择 。 
表 8.8 列 出 了 序列 化 类 ，Netty 提供 了 与 IDK 的 互 操作 。 
Table 8.8 JDK Serialization codecs 
名 称 首 述 
CompatibleObjectDecoder ”该 解码 器 使 用 JDK 序列 化 ， 用 于 与 非 Netty 进行 互 操作 。 
CompatibleObjectEncoder ”该 编码 器 使 用 JDK 序列 化 ， 用 于 与 非 Netty 进行 互 操作 。 
基于 JDK 序列 化 来 使 用 自 定 义 序列 化 解码 。 外 部 依赖 被 排 


ObjectDecoder 除 在 外 时 ， 提 供 了 一 个 速度 提升 。 否 则 选择 其 他 序列 化 实 
现 
基于 JDK 序列 化 来 使 用 自 定义 序列 化 编码 。 外 部 依赖 被 排 
ObjectEncoder 除 在 外 时 ， 提 供 了 一 个 速度 提升 。 否 则 选择 其 他 序列 化 实 
现 


JBoss Marshalling 序列 化 


如 果 可 以 使 用 外 部 依赖 JBoss Marshalling 是 个 明智 的 选择 。 比 JDK 序列 化 快 3 倍 且 更 加 简 
练 。 


JBoss Marshalling 是 另 一 个 序列 化 APL, 修 复 的 许多 JDK 序 列 化 API 中 发 现 的 问题 , 它 与 
java.io. Serializable 完全 兼容 。 并 添加 了 一 些 新 的 可 调 参数 和 附加 功能 ,所 有 这 些 都 可 插入 通过 
工厂 配置 外 部 化 ,类 /实例 查找 表 , 类 决议 ,对 象 替换 ,等 等 ) 


下 表 展 示 了 Netty 支持 JBoss Marshalling 的 编 解码 器 。 


Table 8.9 JBoss Marshalling codecs 


A VES 


CompatibleMarshallingDecoder 为 了 与 使 用 IDK 序列 化 的 端 对 端 间 兼容 。 
CompatibleMarshallingEncoder 为 了 与 使 用 IDK 序列 化 的 端 对 端 间 兼容 。 
MarshallingDecoder 使 用 自 定义 序列 化 用 于 解码 ， 必 须 使 用 


MarshallingEncoder MarshallingEncoder | 使 用 自 定义 序列 化 用 于 编码 ， 必 须 使 用 
MarshallingDecoder 


下 面 展 示 了 使 用 MarshallingDecoder 和 MarshallingEncoder 


Listing 8.13 Using JBoss Marshalling 


public class MarshallingInitializer extends ChannelInitializer<Channel> { 


private final MarshallerProvider marshallerProvider; 
private final UnmarshallerProvider unmarshallerProvider; 


public MarshallingInitializer(UnmarshallerProvider unmarshallerProvider, 
MarshallerProvider marshallerProvider) { 

this.marshallerProvider - marshallerProvider; 
this.unmarshallerProvider - unmarshallerProvider; 

} 

@Override 

protected void initChannel(Channel channel) throws Exception { 
ChannelPipeline pipeline = channel.pipeline(); 
pipeline.addLast(new MarshallingDecoder(unmarshallerProvider ) ); 
pipeline.addLast(new MarshallingEncoder(marshallerProvider)); 
pipeline.addLast(new ObjectHandler()); 


public static final class ObjectHandler extends SimpleChannelInboundHandler<Serial 
izable» { 
@Override 
public void channelReadO(ChannelHandlerContext channelHandlerContext, Serializ 
able serializable) throws Exception { 
// Do something 


ProtoBuf 序列 化 


ProtoBuf 来 自 谷 歌 ， 并 且 开源 了 。 它 使 编 解码 数据 更 加 紧凑 和 高 效 。 它 已 经 绑 定 各 种 编程 语 
言 ,使 它 适 合 跨 语言 项 目 。 


下 表 展 示 了 Netty 支持 ProtoBuf 的 ChannelHandler 实现 。 


Table 8.10 ProtoBuf codec 


名 称 描述 
ProtobufDecoder 使 用 ProtoBuf 来 解码 消息 
ProtobufEncoder 使 用 ProtoBuf 来 编码 消息 


在 消息 的 整 型 长 度 域 中 ， 通 过 "Base 128 Varints" 将 


ProtobufVarint32FrameDecoder 接收 到 的 ByteBuf 35 A 15 2-31 


用 法 见 下 面 


Listing 8.14 Using Google Protobuf 


public class ProtoBufInitializer extends ChannelInitializer<Channel> { 
private final MessageLite lite; 


public ProtoBufInitializer(MessageLite lite) { 
this.lite = lite; 


@Override 

protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline - ch.pipeline(); 
pipeline.addLast(new ProtobufVarint32FrameDecoder()); 
pipeline.addLast(new ProtobufEncoder()); 
pipeline.addLast(new ProtobufDecoder(lite)); 
pipeline.addLast(new ObjectHandler()); 


public static final class ObjectHandler extends SimpleChannelInboundHandler<Object 


@Override 
public void channelReadO(ChannelHandlerContext ctx, Object msg) throws Excepti 
on { 
// Do something with the object 


添加 ProtobufVarint32FrameDecoder 用 来 分 割 帧 
添加 ProtobufEncoder 用 来 处 理 消息 的 编码 
添加 ProtobufDecoder 用 来 处 理 消息 的 解码 
添加 ObjectHandler 用 来 处 理解 码 了 的 消息 


FON = 


本 章 在 这 一 节 中 ,我 们 探讨 了 Netty 支持 的 不 同 的 序列 化 的 专门 的 解码 器 和 编码 器 。 这 些 
是 标准 JDK AR 化 API,JBoss Marshalling 和 谷歌 ProtoBuf ° 


序列 化 数据 


160 


uw 


SINN 


Netty 的 提供 了 编 解码 器 和 处 理 程序 ， 可 以 组 合 和 扩展 来 实现 一 个 非常 广泛 的 处 理 场景 。 此 外 ， 
他 们 在 许多 大 型 系统 被 证 明 是 健壮 的 组 件 。 请 注意 我 们 只 介绍 最 常见 的 例子 。API 文 档 提 供 完 


整 的 描述 。 


e 引导 客户 端 和 服务 器 

e 从 Channel 引 导 客 户 端 

e 添加 ChannelHandler 

e 使 用 ChannelOption 和 属性 


正如 我 们 所 见 ,ChannelPipeline 、ChannelHandler 和 编 解 码 器 提供 工具 ,我 们 可 以 处 理 一 个 广 
泛 的 数据 处 理 需求 。 但 是 你 可 能 会 问 ,我 创建 了 组 件 后 ,如 何 将 其 组 装 形成 一 个 应 用 程序 ?" 


答案 是 “bootstrapping (引导 )”。 到 目前 为 止 我 们 使 用 这 个 词 有 点 模糊 ,时 间 可 以 来 定义 它 。 
在 最 简单 的 条 件 下 ,引导 就 是 配置 应 用 程序 的 过 程 。 但 正如 我 们 看 到 的 ,不 仅仅 如 此 ; Netty 的 
引导 客户 端 和 服务 器 的 类 从 网 络 基 础 设施 使 您 的 应 用 程序 代码 在 后 台 可 以 连接 和 局 动 所 有 的 
组 件 。 简 而 言 之 ,引导 使 你 的 Netty 应 用 程序 完整 。 


Bootstrap 类 型 


Netty 的 包括 两 种 不 同类 型 的 引导 。 而 不 仅仅 是 当 作 的 “服务 器 "和 “客户 ”的 引导 ， 更 有 用 的 是 
考虑 他 们 的 目的 是 支持 的 应 用 程序 功能 。 从 这 个 意义 上 讲 ,“ 服 务 器 "应 用 程序 把 一 个 “ 父 " 管 道 接 
受 连接 和 创建 “ 子 "管道 ,而 "客户 端 "很 可 能 只 需要 一 个 单一 的 、 非 “ 父 ” 对 所 有 了 网络 交互 的 管道 

(对 于 无 连接 的 比如 UDP 协议 也 是 一 样 ) 。 


如 图 9.1 所 示 , 两 个 引导 实现 自 一 个 名 为 AbstractBootstrap 的 超 类 。 


Figure 9.1 Bootstrap hierarchy 


前 面 的 章节 介绍 的 许多 我 们 共同 关注 的 话题 ,同样 适用 于 客户 端 和 和 服务器。 这些 都 是 由 
AbstractBootstrap 处 理 ,从 而 防止 重复 的 功能 和 代码 。 专 业 引 导 类 可 以 完全 专注 于 它们 独特 的 
需要 关心 的 地 方 。 


克隆 引导 类 


我 们 经 常 需要 创建 多 个 通道 具有 相似 或 相同 的 设置 。 支 持 这 种 模式 而 不 需要 为 每 个 通道 创建 
和 配置 一 个 新 的 引导 实例 , AbstractBootstrap 已 经 被 标记 为 Cloneable。 调 用 clone() 在 一 个 
已 经 配置 引导 将 返回 另 一 个 引导 实例 并 且 是 立即 可 用 。 


注意 ,因为 这 将 创建 只 是 0 浅 拷贝 ,后 者 将 会 共享 所 有 的 克隆 管道 。 这 是 可 以 接 
受 的 ,因为 往往 是 克隆 的 管道 是 short-lived( 短 暂 的 ， 典 型 示例 是 管道 创建 用 于 HTTP 请求 ) 


下 面 内 容 将 会 关注 Bootstrap 和 ServerBootstrap 


引导 客户 端 和 无 连接 协议 


当 需 要 引导 客户 端 或 一 些 无 连接 协议 时 ， 需 要 使 用 Bootstrap 类 。 在 本 节 中 ,我 们 将 回顾 可 用 的 
各 种 方法 引导 客户 端 ,引导 线程 ,和 可 用 的 管道 实现 。 


端 引 寻 方法 
下 表 是 Bootstrap 的 常用 方法 ， 其 中 很 多 是 继承 自 AbstractBootstrap ° 


Table 9.1 Bootstrap methods 


名 称 Wk 
group it E EventLoopGroup 用 于 处 理 所 有 的 Channel 的 事件 
channel channel() 指定 Channel 的 实现 类 。 如 果 类 没有 提供 一 个 默认 的 构造 


channelFactory ”函数 ,你 可 以 调用 channelFactory() 来 指定 一 个 工厂 类 被 bind() 调用 。 
指定 应 该 绑 定 到 本 地 地 址 Channel。 如 果 不 提供 ,将 由 操作 系统 创建 一 


es 个 随机 的 。 或 者 ,您 可 以 使 用 bind() 或 connect() 指 定 localAddress 
设置 ChannelOption 应 用 于 新 创建 Channel 的 ChannelConfig。 这 
些 选项 将 被 bind 或 connect 设置 在 通道 ,这 取决 于 哪个 被 首先 调用 。 

option 这 个 方法 在 创建 管道 后 没有 影响 。 所 支持 ChannelOption 取决 于 使 用 
的 管道 类 型 。 请 参考 9.6 节 和 ChannelConfig 的 API 文档 的 Channel 
类 型 使 用 。 

m 这 些 选项 将 被 bind 或 sree 设置 在 通道 ,这 取决 于 哪个 被 首先 调 
用 。 这 个 方法 在 创建 管道 后 没有 影响 。 请 参考 9.6 节 。 

handler 设置 添加 到 ChannelPipeline 中 的 ChannelHandler 接收 事件 通 

clone 创建 一 个 当前 ae ee 有 原来 相同 的 设置 。 

remoteAddress — 设置 远程 地 址 。 此 外 ,您 可 以 通过 connect() 指定 

connect 连接 到 远 端 ， 返 回 一 个 ChannelFuture, 用 于 通知 连接 操作 完成 

T 3538 38 RS 3E3R — A ChannelFuture, 用 于 通知 绑 定 操 作 完 成 后 ,必须 


调用 Channel.connect() 来 建立 连接 。 
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Bootstrap 类 负责 创建 管道 给 客户 或 应 用 程序 ， 利 用 无 连接 协议 和 在 调用 bind() 或 connect() 
之 后 。 


下 图 展示 了 如 何 工作 


Channel 


Bootstrap 


Channel 





1. 3 bind() AH > Bootstrap 将 创建 一 个 新 的 管道 , 当 connect() 调用 在 Channel 来 建立 
连接 

2. Bootstrap 将 创建 一 个 新 的 管道 , 当 connect() 调用 时 

3. 新 的 Channel 


Figure 9.2 Bootstrap process 
下 面 演示 了 引导 客户 端 ， 使 用 的 是 NIO TCP 传输 


Listing 9.1 Bootstrapping a client 


EventLoopGroup group = new NioEventLoopGroup(); 
Bootstrap bootstrap - new Bootstrap(); //1 
bootstrap.group(group) //2 
.channel(NioSocketChannel.class) //3 
.handler(new SimpleChannelInboundHandler<ByteBuf>() { //4 
@Override 
protected void channeReadO( 
ChannelHandlerContext channelHandlerContext, 
ByteBuf byteBuf) throws Exception { 
System.out.println("Received data"); 
byteBuf.clear(); 


3 
ChannelFuture future = bootstrap.connect( 
new InetSocketAddress("www.manning.com", 80)); //5 
future.addListener(new ChannelFutureListener() { 
@Override 
public void operationComplete(ChannelFuture channelFuture) 
throws Exception { 
if (channelFuture.isSuccess()) { 
System.out.println("Connection established"); 
) else { 
System.err.println("Connection attempt failed"); 
channelFuture.cause().printStackTrace(); 


3); 


创建 一 个 新 的 Bootstrap 来 创建 和 连接 到 新 的 客户 端 管道 
指定 EventLoopGroup 

指定 Channel 实现 来 使 用 

设置 处 理 器 给 Channel 的 事件 和 数据 

连接 到 远 端 主机 


ak WN 一 


14% Bootstrap 提供 了 一 个 “流利 ”语法 
回 实例 本 身 的 引用 链接 他 们 。 


示例 中 使 用 的 方法 (除了 connect()) 由 Bootstrap 8 





兼容 性 


Channel 的 实现 和 EventLoop 的 处 理 过 程 在 EventLoopGroup 中 必须 兼容 ， 哪 些 Channel 是 
和 EventLoopGroup 是 兼容 的 可 以 查看 API 文档 。 经 验 显示 ， 相 兼容 的 实现 一 般 在 同一 个 包 
下 面 ， 例 如 使 用 NioEventLoop，NioEventLoopGroup 和 NioServerSocketChannel 在 一 起 

请 注意 ， 这 些 都 是 前 级 “Nio”， 然 后 不 会 用 这 些 代 赫 另 一 个 实现 和 另 一 个 前 级 ， 如 “Oio”， 也 就 
是 说 OioEventLoopGroup #*NioServerSocketChannel 是 不 相 容 的 。 


Channel 和 EventLoopGroup 的 EventLoop 必须 相 容 ， 例 如 NioEventLoop、 
NioEventLoopGroup、NioServerSocketChannel 是 相 容 的 ， 但 是 OioEventLoopGroup 和 
NioServerSocketChannel 是 不 相 容 的 。 从 类 名 可 以 看 出 前 缓 是 “Nio" 的 只 能 和 "Nio" 的 一 起 使 
用 。 


EventLoop 和 EventLoopGroup 


记 住 ,EventLoop 分 配给 该 Channel 负责 处 理 Channel 的 所 有 操作 。 当 你 执行 一 个 方法 ,该 方 
法 返回 一 个 ChannelFuture ， 它 将 在 分 配给 Channel 的 EventLoop 执行 。 


EventLoopGroup 包含 许多 EventLoops 和 分 配 一 个 EventLoop 通道 时 注册 。 我 们 将 在 15 章 
更 详细 地 讨论 这 个 话题 。 


清单 9.2 所 示 的 结果 ,试图 使 用 一 个 Channel 类 型 与 一 个 EventLoopGroup 兼容 。 


Listing 9.2 Bootstrap client with incompatible EventLoopGroup 


EventLoopGroup group = new NioEventLoopGroup(); 
Bootstrap bootstrap - new Bootstrap(); //1 
bootstrap.group(group) //2 
.channel(OioSocketChannel.class) //3 
.handler(new SimpleChannelInboundHandler<ByteBuf>() { //4 
@Override 
protected void channelReade( 
ChannelHandlerContext channelHandlerContext, 
ByteBuf byteBuf) throws Exception { 
System.out.println("Reveived data"); 
byteBuf.clear(); 


3; 
ChannelFuture future - bootstrap.connect( 
new InetSocketAddress("www.manning.com", 80)); //5 
future.syncUninterruptibly(); 


1. 创建 新 的 Bootstrap 来 创建 新 的 客户 端 管道 

2. 注册 EventLoopGroup 用 于 获取 EventLoop 

3， 指 定 要 使 用 的 Channel 类 。 通 知 我 们 使 用 NIO 版 本 用 于 EventLoopGroup > OIO 用 于 
Channel 

4. 设置 处 理 器 用 于 管道 的 VO 事件 和 数据 

5.， 尝 试 连接 到 远 端 。 当 NioEventLoopGroup 和 OioSocketChannel 不 兼容 时 ， 会 抛 出 
lllegalStateException 异常 


lllegalStateException 显示 如 下 : 


Listing 9.3 lllegalStateException thrown because of invalid configuration 


Exception in thread "main" java.lang.IllegalStateException: incompatible event loop 
type: io.netty.channel.nio.NioEventLoop 

at 

io.netty.channel.AbstractChannel$AbstractUnsafe.register(AbstractChannel.java:5 

71) 


出 现 IllegalStateException 的 其 他 情况 是 ， 在 bind() 或 connect() 调用 前 调用 需要 设置 参数 
的 方法 调用 失败 时 ， 包 括 : 


e group() 
e channel() 或 channnelFactory() 


e handler() 


handler() 方法 尤为 重要 ,因为 这 些 ChannelPipeline 需要 适当 配置 。 一 旦 提供 了 这 些 参数 ,应 
用 程序 将 充分 利用 Netty 的 能 力 。 


引导 客户 端 和 无 连接 协议 
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引导 服务 器 的 方法 


下 表 显 示 了 ServerBootstrap 的 方法 


Table 9.2 Methods of ServerBootstrap' 


名 称 ES 
iu 7% 4 EventLoopGroup 用 于 ServerBootstrap ° 3& “+ EventLoopGroup 
ISAE 提供 ServerChannel 的 I/O 并 且 接 收 Channel 


channel channel() 指定 Channel 的 实现 类 。 如 果 管 道 没 有 提供 一 个 默认 的 构 
channelFactory ” 造 函 数 ,你 可 以 提供 一 个 ChannelFactory ° 


指定 ServerChannel 实例 化 的 类 。 如 果 不 提供 ,将 由 操作 系统 创建 一 个 


loealAgoress 随机 的 。 或 者 ,您 可 以 使 用 bind() 或 connect() 指 定 localAddress 
指定 一 个 ChannelOption 来 用 于 新 创建 的 ServerChannel 的 
ChannelConfig 。 这 些 选项 将 被 设置 在 管道 的 bind() 或 connect(), 这 
AA 取决 于 谁 首先 被 调用 。 在 此 调用 这 些 方 法 之 后 设置 或 更 改 
ChannelOption 是 无 效 的 。 所 支持 ChannelOption 取决 于 使 用 的 管道 
类 型 。 请 参考 9.6 节 和 ChannelConfig 的 API 文档 的 Channel 类 型 使 
用 。 
L AS wets % 5 Mec _ AN i 9 
childOption 当 管 道 已 被 接受 指定 一 个 ChannelOption 应 用 于 Channel 的 
ChannelConfig ° 
PH 指定 ServerChannel 的 属性 。 这 些 属性 可 以 被 管道 的 bind() 设置 。 当 
调用 bind() 之 后 ， 修 改 它们 不 会 生效 。 
childAttr 应 用 属性 到 接收 到 的 管道 上 。 后 续 调 用 没有 效果 。 
TET 设置 添加 到 ServerChannel 的 ChannelPipeline 中 的 
ChannelHandler。 具体 详 见 childHandler() 描述 
设置 添加 到 接收 到 的 Channel 的 ChannelPipeline 中 的 
childHandler ChannelHandler ° handler() 和 childHandler() 之 间 的 区 别 是 前 者 是 接 
收 和 处 理 ServerChannel， 同 时 childHandler() 添加 处 理 器 用 于 处 理 和 
接收 Channel。 后 者 代表 一 个 套 接 字 绑 定 到 一 个 远 端 。 
克隆 ServerBootstrap 用 于 连接 到 不 同 的 远 端 ， 通 过 设置 相同 的 原始 
clone 
ServerBoostrap ° 
bind 绑 定 ServerChannel 并 且 返 回 一 个 ChannelFuture, 用 于 通知 连接 操 


作 完 成 了 (结果 可 以 是 成 功 或 者 失败 ) 


如 何 引 寻 一 个 服务 器 


ServerBootstrap 中 的 childHandler(), childAttr() 和 childOption() 是 常用 的 服务 器 应 用 的 操 
作 。 具 体 来 说 ,ServerChannel 实 现 负责 创建 子 Channel, 它 代表 接受 连接 。 因 此 引导 
ServerChannel 的 ServerBootstrap ,提供 这 些 方法 来 简化 接收 的 Channel 对 ChannelConfig 
应 用 设置 的 任务 。 


图 9.3 显 示 了 ServerChannel 创建 ServerBootstrap 在 bind(), 后 者 管理 大 量 的 子 Channel ° 


===> | SererChannel 





ServerBootstrap 





1. 338 bind() 后 ServerBootstrap 将 创建 一 个 新 的 管道 ， 这 个 管道 将 会 在 绑 定 成 功 后 接收 
2. 接收 新 连接 给 每 个 子 管 道 
3. 接收 连接 的 Channel 





Figure 9.3 ServerBootstrap 
记 住 child* 的 方法 都 是 操作 在 子 的 Channel， 被 ServerChannel 管理 。 


清单 9.4 ServerBootstrap 时 会 创建 一 个 NioServerSocketChannel 实 例 bind()。 这 个 
NioServerChannel 负责 接受 新 连接 和 创建 NioSocketChannel 实例 。 


Listing 9.4 Bootstrapping a server 


ak WN = 


NioEventLoopGroup group = new NioEventLoopGroup(); 
ServerBootstrap bootstrap = new ServerBootstrap(); //1 
bootstrap.group(group) //2 
.channel(NioServerSocketChannel.class) //3 
.childHandler(new SimpleChannelInboundHandler<ByteBuf>() { //4 
@Override 
protected void channelReadO(ChannelHandlerContext ctx, 
ByteBuf byteBuf) throws Exception { 
System.out.println("Reveived data"); 
byteBuf.clear(); 


); 
ChannelFuture future = bootstrap.bind(new InetSocketAddress(8080)); //5 
future.addListener(new ChannelFutureListener() { 
@Override 
public void operationComplete(ChannelFuture channelFuture) 
throws Exception { 
if (channelFuture.isSuccess()) { 
System.out.println("Server bound"); 
) else { 
System.err.println("Bound attempt failed"); 
channelFuture.cause().printStackTrace(); 


Ne 


创建 要 给 新 的 ServerBootstrap 来 创建 新 的 SocketChannel 管道 并 绑 定 他 们 

指定 EventLoopGroup 用 于 从 注册 的 ServerChannel 中 获取 EventLoop 和 接收 到 的 管 
指定 要 使 用 的 管道 类 

设置 子 处 理 器 用 于 处 理 接收 的 管道 的 VO 和 数据 

通过 配置 引导 来 绑 定 管道 


从 Channel 引导 客户 端 


有 时 你 可 能 需要 引导 客户 端 Channel 从 另 一 个 Channel。 这 可 能 发 生 , 如 果 您 正在 编写 一 个 代 
理 或 从 其 他 系统 需要 检索 数据 。 后 一 种 情况 是 常见 的 ,因为 许多 Netty 的 应 用 程序 集成 现 有 系 
统 ,例如 web 服务 或 数据 库 。 


你 当然 可 以 创建 一 个 新 的 Bootstrap 并 使 用 它 如 9.2.1 节 所 述 ,这 个 解决 方案 不 一 定 有 效 。 至 少 ， 
你 需要 创建 另 一 个 EventLoop 给 新 客户 端 Channel 的 ,并 且 Channel 将 会 需要 在 不 同 的 
Thread 间 进 行 上 下 文 切换 。 


幸运 的 是 ,由 于 EventLoop 继承 自 EventLoopGroup ,您 可 以 通过 传递 接收 到 的 Channel 的 
EventLoop 到 Bootstrap 的 group() 方法 。 这 人 允许 客户 端 Channel 来 操作 相同 的 EventLoop, 
这 样 就 能 消除 了 额外 的 线程 创建 和 所 有 相关 的 上 下 文 切换 的 开销 。 


为 什么 共享 EventLoop 呢 ? 


当 你 分 享 一 个 EventLoop ， 你 保证 所 有 Channel 分 配给 EventLoop 将 使 用 相同 的 线程 ,消除 
上 下 文 切 换 和 相关 的 开销 。( 请 记 住 ,一 个 EventLoop 分 配给 一 个 线程 执行 操作 。) 


共享 一 个 EventLoop 描述 如 下 : 







ServerBootstrap 


==> | ServerChannel 


Channel 


1. 3 bind() 调用 时 ，ServerBootstrap 创建 一 个 新 的 ServerChannel ° 当 绑 定 成 功 后 ， 这 个 
管道 就 能 接收 子 管道 了 
2. ServerChannel 接收 新 连接 并 且 创建 子 管道 来 服务 它们 


Channel 用 于 接收 到 的 连接 

管道 自己 创建 了 Bootstrap， 用 于 当 connect() 调用 时 创建 一 个 新 的 管道 
MP DE ER i 

在 EventLoop 接收 通过 connect() 创建 后 就 在 管道 间 共 享 


oak w& 


Figure 9.4 EventLoop shared between channels with ServerBootstrap and Bootstrap 


实现 EventLoop 共享 ， 包 括 设 置 EventLoop 51 3-3  Bootstrap.eventLoop() 方法 。 这 是 清单 
9.5 所 示 。 


ServerBootstrap bootstrap = new ServerBootstrap(); //1 
bootstrap.group(new NioEventLoopGroup(), //2 
new NioEventLoopGroup()).channel(NioServerSocketChannel.class) //3 
.childHandler( //4 
new SimpleChannelInboundHandler<ByteBuf>() 1 
ChannelFuture connectFuture; 


QOverride 
public void channelActive(ChannelHandlerContext ctx) throws Exception { 
Bootstrap bootstrap - new Bootstrap();//5 
bootstrap.channel(NioSocketChannel.class) //6 
.handler(new SimpleChannelInboundHandler<ByteBuf>() { //7 
@Override 
protected void channelReadO(ChannelHandlerContext ctx, Byt 
eBuf in) throws Exception { 


System.out.println("Reveived data"); 


1; 
bootstrap.group(ctx.channel().eventLoop()); //8 
connectFuture = bootstrap.connect(new InetSocketAddress("www.manning.c 
om", 80)); //9 


} 


@Override 
protected void channelReadO(ChannelHandlerContext channelHandlerContext, B 
yteBuf byteBuf) throws Exception { 
if (connectFuture.isDone()) { 
// do something with the data //10 


3; 
ChannelFuture future = bootstrap.bind(new InetSocketAddress(8080)); //11 
future.addListener(new ChannelFutureListener() { 
@Override 
public void operationComplete(ChannelFuture channelFuture) throws Exception { 
if (channelFuture.isSuccess()) { 
System.out.println("Server bound"); 
} else { 
System.err.println("Bound attempt failed"); 
channelFuture.cause().printStackTrace(); 


} 
} 
3); 
1. 创建 一 个 新 的 ServerBootstrap 来 创建 新 的 SocketChannel 管道 并 且 绑 定 他 们 
2. 指定 EventLoopGroups 从 ServerChannel 和 接收 到 的 管道 来 注册 并 获取 EventLoops 
3. 指定 Channel 类 来 使 用 
4. 设置 处 理 器 用 于 处 理 接收 到 的 管道 的 JO 和 数据 
5. 创建 一 个 新 的 Bootstrap 来 连接 到 远程 主机 
6. 设置 管道 类 


7. 设置 处 理 器 来 处 理 VO 

8. 使 用 相同 的 EventLoop 作为 分 配 到 接收 的 管道 
9. 连接 到 远 端 

10. 连接 完成 处 理 业 务 逻 辑 (比如 , proxy) 

11. 通过 配置 了 的 Bootstrap 来 绑 定 到 管道 


注意 ， 新 的 EventLoop 会 创建 一 个 新 的 Thread。 出 于 该 原因 ，EventLoop 实例 应 该 尽量 重 
用 。 或 者 限制 实例 的 数量 来 避免 耗 尽 系统 资源 。 


在 一 个 引导 中 添加 多 个 ChannelHandler 


在 所 有 的 例子 代码 中 ， 我 们 在 引导 过 程 中 通过 handler() 或 childHandler() 都 只 添加 了 一 个 
Rei i 实例 ， 对 于 简单 的 程序 可 能 足够 ， 但 是 对 于 复杂 的 程序 则 无 法 满足 需求 。 例 
如 ， 某 个 程序 必须 支持 多 个 协议 ， 如 HTTP、WebSocket。 aman ChannelHandle r 中 处 理 
eerie or 的 ChannelHandler » Netty 通过 添加 多 个 ChannelHandler > 
从 而 使 每 个 ChannelHandler 分 工 明确 ， 结 构 清晰 。 


Netty 的 一 个 优势 是 可 以 在 ChannelPipeline P JE & 4k 4 ChannelHandler 并 且 可 以 最 大 程度 
的 重用 代码 。 如 何 添加 多 个 ChannelHandler % ? Netty 提供 Channellnitializer 抽象 类 用 来 初 
始 化 ChannelPipeline 中 的 ChannelHandler ° Channelinitializer 2 — +44 % 49 
ChannelHandler， 通 道 被 注册 到 EventLoop 后 就 会 调用 Channellnitializer， 并 允许 将 
ChannelHandler 添加 到 CHannelPipeline ; 完成 初始 化 通道 后 ， 这 个 特殊 的 ChannelHandler 
初始 化 器 会 从 ChannelPipeline 中 自动 删除 。 


听 起 来 很 复杂 ， 其 实 很 简单 ， 看 下 面 代码 : 


Listing 9.6 Bootstrap and using Channellnitializer 


ServerBootstrap bootstrap = new ServerBootstrap();//1 
bootstrap.group(new NioEventLoopGroup(), new NioEventLoopGroup()) //2 
.channel(NioServerSocketChannel.class) //3 
.childHandler(new ChannelInitializerImpl()); //4 
ChannelFuture future = bootstrap.bind(new InetSocketAddress(8080)); //5 
future.sync(); 


final class ChannelInitializerImpl extends ChannelInitializer<Channel> { //6 
@Override 
protected void initChannel(Channel ch) throws Exception { 
ChannelPipeline pipeline = ch.pipeline(); //7 
pipeline.addLast(new HttpClientCodec()); 
pipeline.addLast(new HttpObjectAggregator(Integer.MAX VALUE)); 


} 
} 
1. 创建 一 个 新 的 ServerBootstrap 来 创建 和 绑 定 新 的 Channel 
2. 指定 EventLoopGroups 从 ServerChannel 和 接收 到 的 管道 来 注册 并 获取 EventLoops 
3. 指定 Channel 类 来 使 用 
4. 的 管道 的 VO 和 数据 
5. 通过 ENIR RARE 
6. Channellnitializer 负责 设置 ChannelPipeline 


7. 实现 initChannel() 来 添加 需要 的 处 理 器 到 ChannelPipeline ° — E. ZA T RAK 
Channellnitializer 将 会 从 ChannelPipeline 删除 自身 。 


通过 Channellnitializer, Netty 允许 你 添加 你 程序 所 需 的 多 个 ChannelHandler 到 
ChannelPipeline 


使 用 Netty 的 ChannelOption 和 属性 


比较 麻烦 的 是 创建 通道 后 不 得 不 手动 配置 每 个 通道 ， 为 了 避免 这 种 情况 ，Netty 提供 了 
sea 来 帮助 引导 配置 。 这 些 选项 会 自动 应 用 到 引导 创建 的 所 有 通道 ， 可 用 的 各 种 
选项 可 以 配置 底层 连接 的 详细 信息 ， 如 通道 “keep-alive( 保 持 活跃 )" 或 timeout( 超 时 "的 特性 。 


Netty 应 用 程序 通常 会 与 组 织 或 公司 其 他 的 软件 进行 集成 ， 在 某 些 情况 下 ，Netty 的 组 件 如 
Channel 在 Netty 正常 生命 周期 外 使 用 ; 的 提供 了 抽象 AttributeMap 集合 ,这 是 由 
Netty 的 管道 和 引导 类 ,和 AttributeKey， 常 见 类 用 于 插入 和 检索 属性 值 。 属 性 允许 您 安全 
的 关联 任何 数据 项 与 客户 端 和 服务 器 的 ”Channel。 


例如 ,考虑 一 个 服务 器 应 用 程序 跟踪 用 户 和 ”Channel 之 间 的 关系 。 这 可 以 通过 存储 用 户 
ID 作为 Channel 的 一 个 属性 。 类 似 的 技术 可 以 用 来 路 由 消息 到 基于 用 户 ID 或 关闭 基 
于 用 户 活 动 的 一 个 管道 。 


清单 9.7 展 示 了 如 何 使 用 ChannelOption & Channel 和 一 个 属性 来 存储 一 个 整数 值 。 


Listing 9.7 Using Attributes 


final AttributeKey«Integer» id = new AttributeKey<Integer>("ID"); //1 


Bootstrap bootstrap = new Bootstrap(); //2 
bootstrap.group(new NioEventLoopGroup()) //3 
.channel(NioSocketChannel.class) //4 
.handler (new SimpleChannelInboundHandler<ByteBuf>() { //5 
QOverride 
public void channelRegistered(ChannelHandlerContext ctx) throws Exception 


Integer idValue = ctx.channel().attr(id).get(); //6 
// do something with the idValue 


J 


@Override 

protected void channelReadO(ChannelHandlerContext channelHandlerContext, B 
yteBuf byteBuf) throws Exception { 

System.out.println("Reveived data"); 
j 
3; 

bootstrap.option(ChannelOption.SO KEEPALIVE, true).option(ChannelOption.CONNECT TIMEOU 
T MILLIS, 5000); //7 
bootstrap.attr(id, 123456); //8 


ChannelFuture future - bootstrap.connect(new InetSocketAddress("www.manning.com", 80)) 
; //9 
future.syncUninterruptibly(); 
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新 建 一 个 AttributeKey 用 来 存储 属性 值 
新 建 Bootstrap 用 来 创建 客户 端 管道 并 连接 他 们 
指定 EventLoopGroups 从 和 接收 到 的 管道 来 注册 并 获取 EventLoop 
指定 Channel 类 
设置 处 理 器 来 处 理 管道 的 |/O 和 数据 
检索 AttributeKey 的 属性 及 其 值 
设置 ChannelOption 将 会 设置 在 管道 在 连接 或 者 绑 定 
id 属性 
过 配置 的 Bootstrap 来 连接 到 远程 主机 


关闭 之 前 已 经 引导 的 客户 端 或 服务 器 


ar 的 应 用 程序 启动 并 运行 ,但 是 迟早 你 也 需要 关闭 它 。 当 然 你 可 以 让 JVM 处 理 所 有 退出 但 
会 满足 "优雅 "的 定义 ， 是 指 干净 地 释放 资源 。 关 闭 一 个 Netty 的 应 用 程序 并 不 复杂 ,但 有 几 
， o 


主要 是 记 住 关闭 EventLoopGroup, 44 Ab 3E ££ & fa AR BEES BUR 释放 所 有 活动 线 
程 。 这 只 是 一 种 叫 EventLoopGroup.shutdownGracefully()。 这 个 调用 将 返回 一 个 Future 用 来 
通知 关闭 完成 。 注 意 ,ShutdownGracefully() 也 是 一 个 异步 操作 ,所 以 你 需要 阻塞 ,直到 它 完 成 或 

注册 一 个 侦 听 器 直到 返回 的 Future 来 通知 完成 。 


清单 9.9 定 义 了 “优雅 地 关闭 ” 
Listing 9.9 Graceful shutdown 


EventLoopGroup group = new NioEventLoopGroup() //1 

Bootstrap bootstrap = new Bootstrap(); //2 

bootstrap. group(group) 
.channel(NioSocketChannel.class); 


Future<?> future = group.shutdownGracefully(); //3 
// block until the group has shutdown 
future.sync(); 


创建 EventLoopGroup 用 于 处 理 |/O 
2. 创建 一 个 新 的 Bootstrap 并 且 配 置 他 
3. 最 终 优雅 的 关闭 EventLoopGroup 释放 资源 。 这 个 也 会 关闭 中 当前 使 用 的 Channel 


或 者 ,您 可 以 调用 Channel.close() 显 式 地 在 所 有 活动 管道 之 前 调用 
EventLoopGroup.shutdownGracefully()。 但 是 在 所 有 情况 下 ,记得 关闭 EventLoopGroup 本 身 
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总 结 
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在 本 章 中 ,您 了 解 了 如 何 引导 基于 Netty 服务 器 和 客户 端 应 用 程序 (包括 那些 使 用 无 连接 协议 ) 
如 何 指定 管道 的 配置 选项 ,以 及 如 何 使 用 属性 信息 附加 到 一 个 管道 。 


在 下 一 章 ,我 们 将 研究 如 何 测试 你 ChannelHandler 实现 以 确保 其 正确 性 。 


e 单元 测试 

e EmbeddedChannel 
学 会 了 使 用 一 个 或 多 个 ChannelHandler 处 理 接收 /发 送 数 据 消息 ， 但 是 如 何 测试 它们 呢 ? 
Netty 提供 了 2 个 额外 的 类 使 得 测试 ChannelHandler 变 得 很 容易 ， 本 章 讲解 如 何 测试 Netty 程 
序 。 测 试 使 用 JUnit4， 如 果 不 会 用 可 以 慢 慢 了 解 。JUnit4 很 简单 ， 但 是 功能 很 强大 。 


本 章 将 重点 讲解 测试 已 实现 的 ChannelHandler 和 编 解 码 器 


2 \ 
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我 们 已 经 知道 ,ChannelHandler 实现 可 以 串联 在 一 起 ,以 构建 ChannelPipeline 44) 4b 3€ 37 Ho R 
们 先前 解释 说 ,这 个 设计 方法 支持 潜在 的 复杂 的 分 解 处 理 成 小 和 可 重用 的 组 件 ,其 中 每 个 一 个 定 
义 良好 的 处 理 任 务 或 步骤 。 在 这 一 章 里 ,我 们 将 展示 它 简化 了 测试 。 


Netty 的 促进 ChannelHandler 的 测试 通过 的 所 谓 “ 谋 入 式 " 传 输 。 这 是 由 一 个 特殊 Channel X 
现 ,EmbeddedChannel, 它 提供 了 一 个 简单 的 方法 通过 管道 传递 事件 。 


想法 很 简单 :你 入 站 或 出 站 数据 写 入 一 个 E mbeddedChannel 然后 检查 是 否 达 到 
ChannelPipeline 的 结束 。 这 样 你 可 以 确定 消息 编码 或 解码 和 ChannelHandler 是 否 操作 被 触 
发 。 


在 表 10.1 中 列 出 了 相关 方法 。 


名 称 职责 


写 一 个 入 站 消息 到 EmbeddedChannel » 如果 数据 能 


Wie noone EmbeddedChannel 通过 readInbound() 读 到 ， 则 返 a true 


从 EmbeddedChannel 读 到 入 站 消息 。 任 何 返 回 遍 历 整个 
ChannelPipeline。 如 果 读 取 还 没有 准备 ， 则 此 方法 返回 null 


写 一 个 出 站 消息 到 EmbeddedChannel。 如 果 数 据 能 


readinbound 


We DUE EmbeddedChannel 通过 readOutbound() 读 到 ， 则 返 e true 
readOutbound — ^^ EmbeddedChannel 读 到 出 站 消息 。 任 何 返 回 遍 历 整 个 
ChannelPipeline。 如 果 读 取 还 没有 准备 ， 则 此 方法 返回 null 
Finish hs doe 或 者 出 站 中 能 读 到 数据 ， 标 记 EmbeddedChannel 完成 并 
且 返 回 。 这 同时 会 调用 EmbeddedChannel 的 关闭 方法 
测试 入 站 和 出 站 数据 


处 理 入 站 数据 由 ChannellnboundHandler 处 理 并 re 示 数 据 从 远 端 读 取 。 出 站 数据 由 
ChannelOutboundHandler 处 理 并 且 表 示 数 据 写 入 远 端 。 根据 ChannelHandler 测试 你 会 选 
择 writelnbound(),writeOutbound(), 或 者 两 者 都 有 。 


图 10.1 显 示 了 数据 流 如 何 通过 ChannelPipeline 使 用 EmbeddedChannel 的 方法 。 
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Figure 10.1 EmbeddedChannel data flow 


如 上 图 所 示 ， 使 用 writeOutbound() 写 消息 到 Channel， 消 息 在 出 站 方法 通过 
ChannelPipeline ， 之 后 就 可 以 使 用 readOutbound() 读 取消 息 。 着 同样 使 用 与 入 站 ， 使 用 
writelnbound() 和 readInbound() » 2&4 


每 种 情况 下 ,消息 是 通过 ChannelPipeline 3f-3X X ChannellnboundHandler 或 
ChannelOutboundHandler 进行 处 理 。 如 果 消 息 是 不 消耗 您 可 以 使 用 readlnbound() 或 
readOutbound() 适当 的 读 到 Channel 处 理 后 的 消息 。 


让 我 们 仔细 看 一 下 这 两 个 场景 ,看 看 他 们 如 何 适 用 于 测试 您 的 应 用 程序 逻辑 。 


测试 ChannelHandler 


本 节 ， 将 使 用 EmbeddedChannel 来 测试 ChannelHandler 


测试 入 站 消息 


我 们 来 编写 一 个 简单 的 ByteToMessageDecoder 实现 ， 有 足够 的 数据 可 以 读 取 时 将 产生 固定 
大 小 的 包 ， 如 果 没 有 足够 的 数据 可 以 读 取 ， 则 会 等 待 下 一 个 数据 块 并 再 次 检查 是 否 可 以 产生 


一 个 完整 包 。 


如 图 所 示 ， 它 可 能 会 占用 一 个 以 上 的 “event” 以 获取 足够 的 字 节 产生 一 个 数据 包 ， 并 将 它 传 递 
到 ChannelPipeline 中 的 下 一 个 ChannelHandler > 


FixedLenghFrameDecoder E ABC H oF H on > 


Figure 10.2 Decoding via FixedLengthFrameDecoder 





实现 如 下 : 


Listing 10.1 FixedLengthFrameDecoder implementation 


public class FixedLengthFrameDecoder extends ByteToMessageDecoder { //1 
private final int frameLength; 
public FixedLengthFrameDecoder(int frameLength) { //2 


if (frameLength <= 0) { 
throw new IllegalArgumentException( 


"frameLength must be a positive integer: " + frameLength); 
} 
this.frameLength = frameLength; 
} 
@Override 


protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) thr 
ows Exception { 
if (in.readableBytes() >= frameLength) { //3 
ByteBuf buf = in.readBytes(frameLength) ;//4 
out.add(buf); //5 


继承 ByteToMessageDecoder 用 来 处 理 入 站 的 字 节 并 将 他 们 解码 为 消息 
指定 产 出 的 帧 的 长 度 

检查 是 否 有 足够 的 字 节 用 于 读 到 下 个 由 

从 ByteBuf 读 取 新 帧 

添加 由 到 解码 好 的 消息 List 


ak WN 一 


下 面 是 单元 测试 的 例子 ， 使 用 EmbeddedChannel 


Listing 10.2 Test the FixedLengthFrameDecoder 


public class FixedLengthFrameDecoderTest { 


@Test //1 
public void testFramesDecoded() { 
ByteBuf buf = Unpooled.buffer(); //2 
for (int i = 0; i < 9; i++) { 
buf .writeByte(i); 


} 
ByteBuf input = buf.duplicate(); 


EmbeddedChannel channel = new EmbeddedChannel(new FixedLengthFrameDecoder(3)); 
//3 

Assert.assertFalse(channel.writeInbound(input.readBytes(2))); //4 

Assert.assertTrue(channel.writeInbound(input.readBytes(7))); 


Assert.assertTrue(channel.finish()); //5 
ByteBuf read = (ByteBuf) channel. readInbound(); 
Assert.assertEquals(buf.readSlice(3), read); 
read.release(); 


read = (ByteBuf) channel. readInbound(); 
Assert.assertEquals(buf.readSlice(3), read); 
read.release(); 


read = (ByteBuf) channel.readInbound(); 
Assert.assertEquals(buf.readSlice(3), read); 
read.release(); 


Assert.assertNull(channel.readInbound()); 
buf.release(); 


QTest 
public void testFramesDecoded2() { 
ByteBuf buf - Unpooled.buffer(); 
for (int i = 0; i < 9; i++) { 
buf .writeByte(i); 


} 
ByteBuf input = buf.duplicate(); 


EmbeddedChannel channel = new EmbeddedChannel(new FixedLengthFrameDecoder(3)); 
Assert.assertFalse(channel.writeInbound(input.readBytes(2))); 
Assert.assertTrue(channel.writeInbound(input.readBytes(7))); 


Assert.assertTrue(channel.finish()); 

ByteBuf read - (ByteBuf) channel.readInbound(); 
Assert.assertEquals(buf.readSlice(3), read); 
read.release(); 


read - (ByteBuf) channel.readInbound(); 
Assert.assertEquals(buf.readSlice(3), read); 
read.release(); 


read = (ByteBuf) channel.readInbound(); 
Assert.assertEquals(buf.readSlice(3), read); 
read.release(); 


Assert.assertNull(channel.readInbound()); 
buf.release(); 


测试 增加 @Test 注解 

新 建 ByteBuf 并 用 字 节 填充 它 

新 增 EmbeddedChannel 并 添加 FixedLengthFrameDecoder 用 于 测试 
写 数据 到 EmbeddedChannel 

标记 channel 已 经 完成 

读 产 生 的 消息 并 且 校 验 


oak WN > 


writelnbound() 方法 ， 之 后 再 执行 finish() 来 将 EmbeddedChannel 标记 为 已 完成 ， 最 后 调用 
readInbound() 方法 来 获取 EmbeddedChannel 中 的 数据 ， 直 到 没有 可 读 字 节 。 
testFramesDecoded2() 方法 采取 同样 的 方式 ， 但 有 一 个 区 别 就 是 入 站 ByteBuf 分 两 步 写 的 ， 
当 调 用 writelnbound(input.readBytes(2)) 后 返回 false 时 ，FixedLengthFrameDecoder 值 会 
产生 输出 ， 至 少 有 3 个 字 节 是 可 读 ，testFramesDecoded2() 测试 的 工作 相当 于 
testFramesDecoded() ° 


Testing outbound messages 


测试 的 处 理 出 站 消息 类 似 于 我 们 刚才 看 到 的 一 切 。 这 个 例子 将 使 用 的 实现 
Message ToMessageEncoder:AbsIntegerEncoder ° 


e 当 收 到 flush() 它 将 从 ByteBuf 读 取 4 字 节 整 数 并 给 每 个 执行 Math.abs() ° 
e 每 个 整数 接着 写 入 ChannelHandlerPipeline 


510.33 zs T 3E HR e 


Figure 10.3 Encoding via AbsIntegerEncoder 
示例 如 下 : 


Listing 10.3 AbslntegerEncoder 


public class AbsIntegerEncoder extends MessageToMessageEncoder<ByteBuf> { //1 
@Override 
protected void encode(ChannelHandlerContext channelHandlerContext, ByteBuf in, Lis 
t<Object> out) throws Exception { 
while (in.readableBytes() >= 4) { //2 
int value = Math.abs(in.readInt());//3 
out.add(value); //4 


继承 MessageToMessageEncoder 用 于 编码 消息 到 另外 一 种 格式 
检查 是 否 有 足够 的 字 节 用 于 编码 

读 取 下 一 个 输入 ByteBuf 产 出 的 int 值 ， 并 计算 绝对 值 

写 int 到 编码 的 消息 List 


^om 


在 前 面 的 示例 中 ,我 们 将 使 用 EmbeddedChannel 测试 代码 。 清 单 10.4 


Listing 10.4 Test the AbsIntegerEncoder 


public class AbsIntegerEncoderTest { 


QTest 7/1 
public void testEncoded() { 
ByteBuf buf = Unpooled.buffer(); //2 
Rote (Calin ak abe ay eal): alee) af 
buf.writeInt(i * -1); 


EmbeddedChannel channel = new EmbeddedChannel(new AbsIntegerEncoder()); //3 
Assert.assertTrue(channel.writeOutbound(buf)); //4 


Assert.assertTrue(channel.finish()); //5 
fontane al ESTO alee) af 

Assert.assertEquals(i, channel.readOutbound()); //6 
} 


Assert.assertNull(channel.readOutbound()); 


用 @Test 标记 

新 建 ByteBuf 并 写 入 负 整 数 

新 建 EmbeddedChannel 并 安装 AbsIntegerEncoder 来 测试 
写 ByteBuf 并 预测 readOutbound() 产生 的 数据 

标记 channel 已 经 完成 

读 取 产 生 到 的 消息 ， 检 查 负 值 已 经 编码 为 绝对 什 


om) a+ nip 
测试 弄 第 处 理 
有 时 候 传输 的 入 站 或 出 站 数据 不 够 ， 通 常 这 种 情况 也 需要 处 理 ， 例 如 抛 出 一 个 异常 。 这 可 能 


是 你 错误 的 输入 或 处 理 大 的 资源 或 其 他 的 异常 导致 。 我 们 来 写 一 个 实现 ， 如 果 输 入 字 节 超出 
限制 长 度 就 抛 出 TooLongFrameException， 这 样 的 功能 一 般 用 来 防止 资源 耗 尺 。 看 下 图 : 


在 图 10.4 最 大 帧 大 小 被 设置 为 3 个 字 节 。 


| TooLongFrame | 
Exception | 





Figure 10.4 Decoding via FrameChunkDecoder 


上 图 显示 帧 的 大 小 被 限制 为 3 字 节 ， 若 输入 的 字 节 超过 3 字 节 ， 则 超过 的 字 节 被 丢弃 并 抛 出 
TooLongFrameException。 在 ChannelPipeline 中 的 其 他 ChannelHandler 实现 可 以 处 理 
TooLongFrameException AA ARAR o AA% A ChannelHandler.exceptionCaught() 方 
法 中 完成 ，ChannelHandler 提供 了 一 些 具体 的 实现 ， 看 下 面 代 码 : 


public class FrameChunkDecoder extends ByteToMessageDecoder { //1 
private final int maxFrameSize; 


public FrameChunkDecoder(int maxFrameSize) { 
this.maxFrameSize = maxFrameSize; 


} 


@Override 
protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) thr 
ows Exception { 
int readableBytes = in.readableBytes(); //2 
if (readableBytes > maxFrameSize) { 
// discard the bytes //3 
in.clear(); 
throw new TooLongFrameException(); 
} 
ByteBuf buf = in.readBytes(readableBytes); //4 
out.add(buf); //5 


1. 继承 ByteToMessageDecoder 用 于 解码 入 站 字 节 到 消息 
2. 指定 最 大 需要 的 帧 产生 的 体积 
3. 如 果 帧 太 大 就 丢弃 并 抛 出 一 个 TooLongFrameException 异常 


4. 同时 从 ByteBuf 读 到 新 帧 
5. 添加 帧 到 解码 消息 List 


示 


例如 下 : 


Listing 10.6 Testing FixedLengthFrameDecoder 


public class FrameChunkDecoderTest { 


@Test //1 
public void testFramesDecoded() { 
ByteBuf buf = Unpooled.buffer(); //2 
for (int i = 0; i < 9; i++) { 
buf .writeByte(i); 


} 
ByteBuf input = buf.duplicate(); 


EmbeddedChannel channel = new EmbeddedChannel(new FrameChunkDecoder(3)); //3 
Assert.assertTrue(channel.writelnbound(input.readBytes(2))); //4 
try { 
channel.writeInbound(input.readBytes(4)); //5 
Assert.fail(); //6 
} catch (TooLongFrameException e) { 
// expected 
} 


Assert.assertTrue(channel.writelnbound(input.readBytes(3))); //7 
Assert.assertTrue(channel.finish()); //8 

ByteBuf read = (ByteBuf) channel.readInbound(); 
Assert.assertEquals(buf.readSlice(2), read); //9 

read.release(); 

read = (ByteBuf) channel.readInbound(); 
Assert.assertEquals(buf.skipBytes(4).readSlice(3), read); 


read.release(); 


buf .release(); 


} 

} 

1. 使 用 @Test 注解 
2. 新建 ByteBuf 写 入 9 个 字 节 
3. #132 EmbeddedChannel 并 安装 一 个 FixedLengthFrameDecoder 用 于 测试 
4. 写 入 2 个 字 节 并 预测 生产 的 新 帧 (消息 ) 
5， 写 一 帧 大 于 帧 的 最 大 容量 (3) 并 检查 一 个 TooLongFrameException 异常 
6. 如果 异常 没有 被 捕获 ， 测 试 将 失败 。 注 意 如 果 类 实现 exceptionCaught() 并 且 处 理 了 异常 


exception， 那 么 这 里 就 不 会 捕捉 异常 


7. S f| 53 2 个 字 节 预 测 一 个 帧 

8. 标记 channel 完成 

9. 读 到 的 产生 的 消息 并 且 验 证 值 。 注 意 assertEquals(Object,Object) 测 试 使 用 equals() 是 
否 相 当 ， 不 是 对 象 的 引用 是 否 相当 


即使 我 们 使 用 EmbeddedChannel 和 ByteToMessageDecoder ° 
应 该 指出 的 是 ,同样 的 可 以 做 每 个 ChannelHandler 的 实现 ,将 抛 出 一 个 异常 。 


乍 一 看 ,这 看 起 来 很 类 似 于 测试 我 们 写 在 清单 10.2 中 ,但 它 有 一 个 有 趣 的 转折 , 即 
TooLongFrameException 的 处 理 。 这 里 使 用 的 try/catch 块 是 EmbeddedChannel 的 一 种 特殊 
的 特性 。 如 果 其 中 一 个 “Write*" 编 写 方法 产生 一 个 受 控 异 党 将 被 包装 在 一 个 
RuntimeException。 这 使 得 测试 更 加 容易 ,如 果 异 常 处 理 的 一 部 分 处 理 。 


ge 
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OA 
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使 用 测试 工具 ， 如 JUnit 单 元 测试 是 一 个 非常 有 效 的 方式 保证 代码 的 正确 性 ,提高 其 可 维护 性 。 
在 本 章 中 ,您 了 解 了 如 何 测试 定制 ChannelHandler 来 验证 他 们 的 工作 © 

在 接 下 来 的 章节 我 们 将 专注 于 写 Netty “Hh KEIR 的 应 用 程序 。 即 使 我 们 任何 进一步 的 测试 代 
码 的 例子 ， 但 希望 你 能 记 住 我 们 的 测试 方法 的 探讨 及 其 重要 性 。 


WebSocket 


本 章 涵盖 了 如 下 内 容 : 


e WebSockets 
e ChannelHandler Decoder 和 Encoder 
e 引导 你 的 应 用 程序 


real-time web (实时 web) 是 一 组 技术 和 实践 ， 使 用 户 能 够 实时 地 接收 到 作者 发 布 的 信息 ， 
而 不 需要 用 户 用 他 们 的 软件 定期 检查 更 新 源 。 


HTTP 的 请 求 /响应 的 设计 并 不 能 满足 实时 的 需求 ， 而 WebSocket 协议 从 设计 以 来 就 提供 双向 
数据 传输 ， 允 许 客户 和 服务 器 在 任何 时 间 发 送 消息 ， 并 要 求 它们 能 够 异步 处 理 消息 。 最 新 的 
浏览 器 都 将 WebSockets 作为 HTML5 的 一 种 客户 端 API 来 支持 的 。 


Netty 中 对 于 WebSocket 的 支持 包括 正在 使 用 的 所 有 主要 的 实现 ， 所 以 在 你 的 下 一 个 应 用 程 


序 中 采用 它 会 非常 简单 。 像 往常 使 用 Netty 一 样 ， 你 可 以 充分 利用 这 种 协议 ， 而 不 必 担 心 其 内 
部 实现 细节 。 我 们 将 通过 开发 基于 WebSocket 的 实时 聊天 应 用 证 明 这 一 点 。 


WebSocket 程序 示例 


为 了 说 明 实 时 功能 的 特点 ， 我 们 使 用 WebSocket 协议 来 实现 一 个 基于 浏览 器 的 实时 聊天 程 
序 ， 就 像 你 在 Facebook 中 用 文字 聊天 一 样 。 但 是 我 们 这 里 要 更 进一步 ， 我 们 要 让 不 同 的 用 
户 可 以 同时 互相 交谈 。 


程序 逻辑 如 图 11.1 所 示 


WebSockets 
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Client AN sen 


#1 客 户 端 /用 户 连 接 到 服务 器 ， 并 且 是 聊天 的 一 部 分 
并 2 聊天 消息 通过 WebSocket 进行 交换 

并 3 消息 双向 发 送 

并 4 服务 器 处 理 所 有 的 客户 端 /用 户 

逻辑 很 简单 : 

e 1. 客 户 端 发 送 一 个 消息 。 

e 2. 消 息 被 广播 到 所 有 其 他 连接 的 客户 端 。 


你 所 想 的 聊天 室 的 工作 方式 : 每 个 人 都 可 以 跟 其 他 人 聊天 。 此 例子 将 仅 提 供 服 务 器 
oe) ee NP HE 过 访问 网 页 来 聊天 。 正 如 您 接 下 来 要 看 到 的 ，WebSocket 让 这 


WebSocket 程序 示例 


196 


添加 WebSocket 支持 


WebSocket 使 用 一 种 被 称 作 “Upgrade handshake (升级 握手 ) "的 机 制 将 标准 的 HTTP 或 
HTTPS 协议 转 为 WebSocket。 因 此 ， 使 用 WebSocket 的 应 用 程序 将 始终 以 HTTP/S 开始 ， 
然后 进行 升级 。 这 种 升级 发 生 在 什么 时 候 取 决 于 具体 的 应 用 ;可 以 在 应 用 启动 的 时 候 ， 或 者 当 
一 个 特定 的 URL 被 请 求 的 时 候 。 

在 我 们 的 应 用 中 ， 仅 当 URL 请 求 以 “Ws” 结束 时 ， 我 们 才 升 级 协议 为 WebSocket。 否 则 ， 服 务 
器 将 使 用 基本 的 HTTP/S。 一 旦 连接 升级 ， 之 后 的 数据 传输 都 将 使 用 WebSocket 。 


下 面 看 下 服务 器 的 逻辑 图 


Figure 11.2 Server logic 
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WebSockets 


间 1 客 户 端 /用 户 连 接 到 服务 器 并 加 入 聊天 
#2 HTTP 请 求 页 面 或 WebSocket 升级 握手 


并 3 服务 器 处 理 所 有 客户 端 / 用 户 


并 4 响应 URI “的 请 求 ， 转 到 index.html 
H 54e Xi 17] 89 X: URI%ws”， 处 理 WebSocket 升级 握手 


HOF REF ARE at WebSocket 发 送 聊 天 消息 


处 理 HTTP 请 求 


本 节 我 们 将 实现 此 应 用 中 用 于 处 理 HTTP 请 求 的 组 件 ， 这 个 组 件 托 管 着 可 供 客 户 端 访问 的 聊 
天 室 页 面 ， 并 且 显 示 客 户 端 发 送 的 消息 。 


下 面 就 是 这 个 HttpRequestHandler 的 代码 , 它 是 一 个 用 来 处 理 FullHttpRequest 消息 的 
ChannellnboundHandler 的 实现 类 。 注 意 看 它 是 怎么 实现 忽略 符合 "ws" 格式 的 URI 请 求 
的 o 


Listing 11.1 HTTPRequestHandler 


public class HttpRequestHandler extends SimpleChannelInboundHandler<FullHttpRequest> { 
//1 
private final String wsUri; 
private static final File INDEX; 


static { 
URL location = HttpRequestHandler.class.getProtectionDomain().getCodeSource(). 
getLocation(); 

try { 
String path = location.toURI() + "index.html"; 
path = !path.contains("file:") ? path : path.substring(5); 
INDEX - new File(path); 

catch (URISyntaxException e) { 
throw new IllegalStateException("Unable to locate index.html", e); 


public HttpRequestHandler(String wsUri) { 
this.wsUri - wsUri; 


@Override 
public void channelReadO(ChannelHandlerContext ctx, FullHttpRequest request) throw 
s Exception { 
if (wsUri.equalsIgnoreCase(request.getUri())) { 


ctx. fireChannelRead(request.retain()); //2 
} else { 
if (HttpHeaders.is100ContinueExpected(request)) ( 
sendi00Continue(ctx); //3 
j 


RandomAccessFile file = new RandomAccessFile(INDEX, "r");//4 


HttpResponse response = new DefaultHttpResponse(request.getProtocolVersion 
(), HttpResponseStatus.OK); 

response.headers().set(HttpHeaders.Names.CONTENT TYPE, "text/html; charset 
=UTF-8"); 


boolean keepAlive = HttpHeaders.isKeepAlive(request); 


if (keepAlive) { //5 
response.headers().set(HttpHeaders.Names.CONTENT LENGTH, file.length() 
); 
response.headers().set(HttpHeaders.Names.CONNECTION, HttpHeaders.Value 
s.KEEP_ALIVE); 


j 
ctx.write(response); //6 
if (ctx.pipeline().get(SslHandler.class) == null) { Vila 
ctx.write(new DefaultFileRegion(file.getChannel(), ©, file.length())); 
) else { 
ctx.write(new ChunkedNioFile(file.getChannel())); 
j 
ChannelFuture future - ctx.writeAndFlush(LastHttpContent.EMPTY LAST CONTEN 
Tp) i //8 
if (!keepAlive) { 
future.addListener(ChannelFutureListener.CLOSE); //9 
j 


private static void sendiO00Continue(ChannelHandlerContext ctx) { 
FullHttpResponse response = new DefaultFullHttpResponse(HttpVersion.HTTP 1 1, 
HttpResponseStatus.CONTINUE); 
ctx.writeAndFlush(response); 


@Override 
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) 
throws Exception { 
cause.printStackTrace(); 
ctx.close(); 


1.4" /& SimpleChannellnboundHandler 用 于 处 理 FullHttpRequest 信 息 


2. 如 果 请 求 是 一 次 升级 了 的 WebSocket 请 求 ， 则 递增 引用 计数 器 (retain) 并 且 将 它 传递 给 
在 ChannelPipeline 中 的 下 个 ChannellnboundHandler 


3. 4b #2 4 & HTTP 1.149 "100 Continue" 请 求 
4.7% FX index.html 


5.7 Bf keepalive 是 否 在 请 求 头 里 面 


6.5 HttpResponse 到 客户 端 


7.5 index.html 到 客户 端 ， 根据 ChannelPipeline 中 是 否 有 SslHandler 来 决定 使 用 
DefaultFileRegion 还 是 ChunkedNioFile 


8. 写 并 刷新 LastHttpContent 到 客户 端 ， 标 记 响 应 完成 
9. 如 果 请 求 头 中 不 包含 keepalive > 3 5 ZAR > XH] Channel 
HttpRequestHandler 做 了 下 面 几 件 事 ， 


e 如 果 该 HTTP 请 求 被 发 送 到 URI"/ws”， 则 调用 FullHttpRequest 上 的 retain()， 并 通过 调 
用 fireChannelRead(msg) 转发 到 下 一 个 ChannellnboundHandler » retain() 的 调用 是 必 
要 的 ， 因 为 channelRead() 完成 后 ， 它 会 调用 FullHttpRequest 上 的 release() 来 释放 其 
资源 。 (请 参考 我 们 先前 在 第 6 章 中 关于 SimpleChannellnboundHandler 的 讨论 ) 

e 如 果 客 户 端 发 送 的 HTTP 1.1 头 是 “Expect: 100-continue”， 则 发 送 “100 Continue” 的 响 

e 在 头 被 设置 后 ， 写 一 个 HttpResponse 返回 给 客户 端 。 注 意 ， 这 不 是 
FullHttpResponse， 这 只 是 响应 的 第 一 部 分 。 另 外 ， 这 里 我 们 也 不 使 用 
writeAndFlush() ， 这 个 是 在 留 在 最 后 完成 。 

e 如 果 传 输 过 程 既 没有 要 求 加 密 也 没有 要 求 压 缩 ， 那 么 把 index.html 的 内 容 存储 在 一 个 
DefaultFileRegion 里 就 可 以 达到 最 好 的 效率 。 这 将 利用 零 描 贝 来 执行 传输 。 出 于 这 个 原 
， 我 们 要 检查 ChannelPipeline 中 是 否 有 一 个 SslHandler。 如 果 是 的 话 ， 我 们 就 使 用 
ChunkedNioFile ° 

。 % LastHttpContent 来 标记 响应 的 结束 ， 并 终止 它 

e 如 果 不 要 求 keepalive ， 添 加 ChannelFutureListener 到 ChannelFuture 对 象 的 最 后 写 
入 ， 并 关闭 连接 。 注 意 ， 这 里 我 们 调用 writeAndFlush() 来 刷新 所 有 以 前 写 的 信息 。 


这 里 展示 了 应 用 程序 的 第 一 部 分 ， 用 来 处 理 纯 的 HTTP 请 求 和 响应 。 接 下 来 我 们 将 处 理 
WebSocket 的 frame (W) ， 用 来 发 送 聊 天 消息 。 


WebSocket frame 
WebSockets 在 “ 帧 ?里 面 来 发 送 数据 ， 其 中 每 一 个 都 代表 了 一 个 消息 的 一 部 分 。 一 个 完整 的 消 
息 可 以 利用 了 多 个 帧 。 


处 理 WebSocket frame 


WebSocket "Request for Comments" (RFC) 定义 了 六 种 不 同 的 frame; Netty 给 他 们 每 个 都 提 
供 了 一 个 POJO KM > WFR: 


Table 11.1 WebSocketFrame types 


名 称 描述 
BinaryWebSocketFrame contains binary data 
TextWebSocketFrame contains text data 


contains text or binary data that belongs to a previous 


ContinuationWebSocketFrame BinaryWebSocketFrame or TextWebSocketFrame 


represents a CLOSE request and contains close 


CloseWebSocketFrame 
status code and a phrase 


requests the transmission of a 


ming uve peocKetntaine PongWebSocketFrame 


PongWebSocketFrame sent as a response to a PingWebSocketFrame 
我 们 的 程序 只 需要 使 用 下 面 4 个 帧 类 型 : 


e CloseWebSocketFrame 
e PingWebSocketFrame 
e PongWebSocketFrame 
e TextWebSocketFrame 


在 这 里 我 们 只 需要 处 理 TextVWebSocketFrame， 其 他 的 会 由 
WebSocketServerProtocolHandler 自动 处 理 。 


下 面 代 码 展 示 了 ChannellnboundHandler 处 理 TextWebSocketFrame， 同 时 也 将 跟踪 在 
ChannelGroup 中 所 有 活动 的 WebSocket 连接 


Listing 11.2 Handles Text frames 


public class TextWebSocketFrameHandler extends SimpleChannelInboundHandler<TextWebSock 
etFrame> { //1 
private final ChannelGroup group; 


public TextWebSocketFrameHandler(ChannelGroup group) { 
this.group = group; 


} 


@Override 
public void userEventTriggered(ChannelHandlerContext ctx, Object evt) throws Excep 
tion { //2 
if (evt == WebSocketServerProtocolHandler .ServerHandshakeStateEvent .HANDSHAKE . 
COMPLETE) { 


ctx.pipeline().remove(HttpRequestHandler.class); //3 


group.writeAndFlush(new TextWebSocketFrame("Client " + ctx.channel() + " j 
oined"));//4 


group.add(ctx.channel()); //5 
) else { 
super.userEventTriggered(ctx, evt); 


} 
} 


@Override 
public void channelReadO(ChannelHandlerContext ctx, TextWebSocketFrame msg) throws 
Exception { 


group.writeAndFlush(msg.retain()); //6 
} 


1. 扩 展 SimpleChannellnboundHandler 用 于 处 理 TextWebSocketFrame 信息 
2.42 5 userEventTriggered() 方法 来 处 理 自 定义 事件 


3. 如 果 接 收 的 事件 表明 握手 成 功 ,就 从 ChannelPipeline 中 删除 HttpRequestHandler ， 因 为 接 
下 来 不 会 接受 HTTP 消息 了 


4. 写 一 条 消息 给 所 有 的 已 连接 WebSocket 客户 端 ， 通 知 它们 建立 了 一 个 新 的 Channel 连接 
5. 添 加 新 连接 的 WebSocket Channel 到 ChannelGroup 中 ， 这 样 它 就 能 收 到 所 有 的 信息 

6. 保 留 收 到 的 消息 ， 并 通过 writeAndFlush() 传递 给 所 有 连接 的 客户 端 。 

上 面 显示 了 TextWebSocketFrameHandler 仅 作 了 几 件 事 : 


e 当 WebSocket 与 新 客户 端 已 成 功 握手 完成 ， 通 过 写 入 信息 到 ChannelGroup 中 的 
Channel 来 通知 所 有 连接 的 客户 端 ， oes Channel 到 ChannelGroup 
e 如 果 接 收 到 TextWebSocketFrame ° WA retain() ， 并 将 其 写 、 刷 新 到 ChannelGroup * 


使 所 有 连接 的 WebSocket Channel 都 能 接收 到 它 。 和 以 前 一 样 ，retain() 是 必需 的 ， 
为 当 channelRead0 () 返回 时 ，TextWebSocketFrame 的 引用 计数 将 递减 。 由 于 所 有 操 
作 都 是 异步 的 ，writeAndFlush() 可 能 会 在 以 后 完成 ， 我 们 不 希望 它 访问 无 效 的 引用 。 


由 于 Netty 在 其 内 部 处 理 了 其 余 大 部 分 功能 ， 唯 一 剩 下 的 需要 我 们 去 做 的 就 是 为 每 一 个 新 创建 
的 Channel 初始 化 ChannelPipeline 。 要 完成 这 个 ， 我 们 需要 一 个 Channellnitializer 


初始 化 ChannelPipeline 


接 下 来 ， 我 们 需要 安装 我 们 上 面 实现 的 两 个 ChannelHandler 到 ChannelPipeline。 为 此 ， 我 
们 需要 继承 Channellnitializer 并 且 实 现 initChannel()。 看 下 面 ChatServerlnitializer 的 代码 实 
现 


Listing 11.3 Init the ChannelPipeline 


public class ChatServerInitializer extends ChannelInitializer<Channel> { //1 
private final ChannelGroup group; 


public ChatServerInitializer(ChannelGroup group) { 
this.group - group; 


} 


@Override 

protected void initChannel(Channel ch) throws Exception { //2 
ChannelPipeline pipeline - ch.pipeline(); 
pipeline.addLast(new HttpServerCodec()); 
pipeline.addLast(new HttpObjectAggregator(64 * 1024)); 
pipeline.addLast(new ChunkedwriteHandler()); 
pipeline.addLast(new HttpRequestHandler("/ws")); 
pipeline.addLast(new WebSocketServerProtocolHandler("/ws")); 
pipeline.addLast(new TextWebSocketFrameHandler(group)); 


1.4 Æ Channellnitializer 
2. 添 加 ChannelHandler 到 ChannelPipeline 


initChannel() 方法 用 于 设置 所 有 新 注册 的 Channel 的 ChannelPipeline, 安 装 所 有 需要 的 
ChannelHandler。 总 结 如 下 : 


Table 11.2 ChannelHandlers for the WebSockets Chat server 


ChannelHandler 职责 


Decode bytes to HttpRequest, HttpContent, 
HttpServerCodec LastHttpContent.Encode HttpRequest, 
HttpContent, LastHttpContent to bytes. 


ChunkedWriteHandler Write the contents of a file. 


This ChannelHandler aggregates an HttpMessage 
and its following HttpContents into a single 
FullHttpRequest or FullHttpResponse (depending 

HttpObjectAggregator on whether it is being used to handle requests or 
responses).With this installed the next 
ChannelHandler in the pipeline will receive only 
full HTTP requests. 


Handle FullHttpRequests (those not sent to "/ws" 


Http RequestHandler URI). 


As required by the WebSockets specification, 
handle the WebSocket Upgrade handshake, 
PingWebSocketFrames,PongWebSocketFrames 
and CloseWebSocketFrames. 


WebSocketServerProtocolHandler 


Handles TextWebSocketFrames and handshake 


TextWebSocketFrameHandler : 
completion events 


该 WebSocketServerProtocolHandler 处 理 所 有 规定 的 WebSocket 帧 类 型 和 升级 握手 本 身 。 
如 果 握 手 成 功 所 需 的 ChannelHandler 被 添加 到 管道 ， 而 那些 不 再 需要 的 则 被 去 除 。 管 道 升级 
之 前 的 状态 如 下 图 。 这 代表 了 ChannelPipeline 刚刚 经 过 ChatServerlnitializer 初始 化 。 


Figure 11.3 ChannelPipeline before WebSockets Upgrade 
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握手 升级 成 功 后 WebSocketServerProtocolHandler #2 HttpRequestDecoder 为 
WebSocketFrameDecoder，HttpResponseEncoder 为 WebSocketFrameEncoder。 为 了 最 
大 化 性 能 ，WebSocket 连接 不 需要 的 ChannelHandler 将 会 被 移 除 。 其 中 就 包括 了 
HttpObjectAggregator 和 HttpRequestHandler 


下 图 ， 展 示 了 PRA n 经 过 这 个 操作 完成 后 的 情况 。 注 意 Netty 目前 支持 四 个 版 本 
WebSocket 协议 ， 过 其 自身 的 方式 实现 类 。 选 择 正确 的 版 本 
WebSocketFrameDecoder 和 WebSocketFrameEncoder 是 自动 进行 的 ， 这 取决 于 在 客户 端 


(在 这 里 指 浏 览 器 ) 的 支持 (在 这 个 例子 中 ， 我 们 假设 使 用 版 本 是 13 的 WebSocket 协议 ， 
从 而 图 中 显示 的 是 WebSocketFrameDecoder13 和 WebSocketFrameEncoder13) 。 


Figure 11.4 ChannelPipeline after WebSockets Upgrade 


ChannelPipeline 


Text 
Web 
Socket 
Frame 
Handler 





xk 
oy 
| 
NE 
ES 
ds 
a 
we 


Š : tà Channellnitializer 


public class ChatServer { 


private final ChannelGroup channelGroup = new DefaultChannelGroup(ImmediateEventEx 
ecutor.INSTANCE);//1 

private final EventLoopGroup group - new NioEventLoopGroup(); 

private Channel channel; 


public ChannelFuture start(InetSocketAddress address) { 

ServerBootstrap bootstrap = new ServerBootstrap(); //2 

bootstrap.group(group) 
.channel(NioServerSocketChannel.class) 
.childHandler(createInitializer(channelGroup)); 

ChannelFuture future - bootstrap.bind(address); 

future.syncUninterruptibly(); 

channel - future.channel(); 

return future; 


protected ChannelInitializer<Channel> createInitializer(ChannelGroup group) { 
//3 


return new ChatServerInitializer (group); 


} 

public void destroy() { //4 
if (channel != null) { 

channel.close(); 

} 
channelGroup.close(); 
group.shutdownGracefully(); 

} 


public static void main(String[] args) throws Exception{ 
if (args.length !- 1) ( 
System.err.println("Please give port as argument"); 
System.exit(1); 
} 
int port = Integer.parseInt(args[0]); 


final ChatServer endpoint = new ChatServer(); 
ChannelFuture future = endpoint.start(new InetSocketAddress(port)); 


Runtime. getRuntime().addShutdownHook(new Thread() { 
@Override 
public void run() { 
endpoint.destroy(); 


3); 


future.channel().closeFuture().syncUninterruptibly(); 


1.6] 3@ DefaultChannelGroup 用 来 保存 所 有 连接 的 的 WebSocket channel 
2.5] $ 服务 器 
3. 创 建 Channellnitializer 


4. 处 理 服 务 器 关闭 ， 包 括 释 放 所 有 资源 


mvn -PChatServer clean package exec:exec 


其 中 项 目 中 的 pom.xml 是 配置 了 9999 端口 。 你 也 可 以 通过 下 面 的 方法 修改 属性 


mvn -PChatServer -Dport=1111 clean package exec:exec 


下 面 是 控制 台 的 主要 输出 (删除 了 部 分 行 ) 


Listing 11.5 Compile and start the ChatServer 


[INFO] Scanning for projects... 

[INFO] 

[| eeeceenseeeseseosscecsseenseosssencoasnsscedbensbnonocabesecandeaneasniuc 
[INFO] Building ChatServer 1.0-SNAPSHOT 

LENEONE nr 
[INFO] 

[INFO] --- maven-jar-plugin:2.4:jar (default-jar) Q netty-in-action --- 

[INFO] Building jar: D:/netty-in-action/chapteri1/target/chat-server-1.0-SNAPSHOT. jar 
[INFO] 

[INFO] --- exec-maven-plugin:1.2.1:exec (default-cli) Q chat-server --- 
Starting ChatServer on port 9999 


o 


可 以 在 浏览 器 中 通过 http;//localhost:9999 地 址 访问 程序 。 图 11.5 展 示 了 此 程序 在 Chrome 浏 览 
器 下 的 用 户 界 面 


Figure 11.5 WebSockets ChatServer demonstration 


ws://localhost:8080/ws 


connected 
Client [id: Ox@2Ze5f2c3, /127.9.0.1:43872 => 


/127.0.60.1:8086] joined 

hello 

well, hello to you too! 
Entcr a mcssagc bclow to send |59 this is WebSockets huh? 

Yup, pretty exciting right? 
| | Send | |certainly is! 












Connect 





Instructions: 


Step 1: Press the Connect button. 


Step 2: Once connected, cnter a message and press thc Send button. The server's response 
will appear in the Log section. You can send as many messages as you like 





Elements Resources Network Sources Timeline Profiles Audits | Console | 





F WS. Sena, Wert, Netto to you tOC! ] 
undefined 
well, hello to you toc! 
So this is WebSockets huh? 

> ws.send('Yup, pretty exciting right?'| 

undefined 
Yup, pretty exciting right? 
Certainly is! 


图 中 显示 了 两 个 已 经 连接 了 的 客户 端 。 第 一 个 客户 端 是 通过 上 面 的 图 形 界 面 连接 的 ， 第 二 个 
是 通过 Chrome 浏 览 器 底部 的 命令 行 连接 的 。 你 可 以 注意 到 ， 这 两 个 客户 端 都 在 发 送 消息 ， 每 


条 消息 都 会 显示 在 两 个 客户 端 上 。 


如 何 加 密 ? 


在 实际 场景 中 ， 加 密 是 必 不 可 少 的 。 在 Netty 中 实现 加 密 并 不 麻烦 ， 你 只 需要 向 
ChannelPipeline 中 添加 SslHandler ， 然 后 配置 一 下 即 可 。 如 下 : 


Listing 11.6 Add encryption to the ChannelPipeline 


209 


public class SecureChatServerIntializer extends ChatServerInitializer { //1 
private final SslContext context; 


public SecureChatServerIntializer(ChannelGroup group, SslContext context) { 
super(group); 
this.context - context; 


@Override 

protected void initChannel(Channel ch) throws Exception { 
super .initChannel(ch); 
SSLEngine engine = context.newEngine(ch.alloc()); 
engine.setUseClientMode( false); 
ch.pipeline().addFirst(new SslHandler(engine)); //2 


1.47 Æ ChatServerlnitializer 来 实现 加 密 
2. 向 ChannelPipeline 中 添加 SslHandler 
最 后 修改 ChatServer， 使 用 SecureChatServerlnitializer 并 传 入 SSLContext 


Listing 11.7 Add encryption to the ChatServer 


public class SecureChatServer extends ChatServer {//1 
private final SslContext context; 


public SecureChatServer(SslContext context) { 
this.context - context; 


QOverride 
protected ChannelInitializer«Channel» createInitializer(ChannelGroup group) { 
return new SecureChatServerIntializer(group, context); //2 


public static void main(String[] args) throws Exception{ 

if (args.length !- 1) { 
System.err.println("Please give port as argument"); 
System.exit(1); 

} 

int port = Integer.parseInt(args[0]); 

SelfSignedCertificate cert = new SelfSignedCertificate(); 

SslContext context = SslContext.newServerContext(cert.certificate(), cert.priv 

ateKey()); 
final SecureChatServer endpoint = new SecureChatServer(context); 
ChannelFuture future = endpoint.start(new InetSocketAddress(port) ); 


Runtime.getRuntime().addShutdownHook(new Thread() { 
QOverride 


public void run() { 
endpoint.destroy(); 


3); 


future.channel().closeFuture().syncUninterruptibly(); 


1.4" /& ChatServer 
2. 返 回 先前 创建 的 SecureChatServerlnitializer 来 启用 加 密 


这 样 ， 就 在 所 有 的 通信 中 使 用 了 SSL/TLS 加 密 。 和 前 面 一 样 ， 你 可 以 使 用 Maven 拉 取 应 用 需 
要 的 所 有 依赖 ， 并 启动 它 ， 如 下 所 示 。 


Listing 11.8 Start the SecureChatServer 


$ mvn -PSecureChatServer clean package exec:exec 

[INFO] Scanning for projects... 

[INFO] 

[ENEONE 
[INFO] Building ChatServer 1.0-SNAPSHOT 

NEO] eesesensescsensanssesssesecossesccoessssacebseoscheabeebeenagsesoeeabner 
[INFO] 

[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ netty-in-action --- 

[INFO] Building jar: D:/netty-in-action/chapteri1/target/chat-server-1.0-SNAPSHOT. jar 
[INFO] 

[INFO] --- exec-maven-plugin:1.2.1:exec (default-cli) @ chat-server --- 
Starting SecureChatServer on port 9999 


现在 你 可 以 通过 HTTPS 地 址 : https://localhost:9999 来 访问 SecureChatServer T ° 


ge 
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在 本 章 中 ， 我 们 学 习 了 如 何 使 用 Netty 中 的 WebSocket 来 管理 Web 应 用 程序 中 的 实时 数 
据 。 我 们 讲 了 所 支持 的 数据 类 型 ， 并 讨论 了 你 可 能 会 遇 到 的 问题 。 虽 然 WebSockets 并 不 能 
在 所 有 情况 下 使 用 ， 但 应 该 清楚 ， 它 代表 了 web 技术 发 展 上 的 一 个 重要 进步 。 


接 下 来 我 们 来 谈 谈 "Web2.0” 开 发 中 的 另 一 项 技术 。 也 许 你 还 没有 听 说 过 “SPDY”， 但 只 要 你 读 
了 下 一 章 ， 你 就 很 可 能 在 你 将 来 的 开发 中 很 好 的 运用 这 门 技术 了 。 


SPDY 


本 章 介 绍 


e SPDY Š% 

e ChannelHandler, Decoder, 和 Encoder 
e 引导 一 个 基于 Netty 的 应 用 

e 测试 SPDY/HTTPS 


SPDY( 读 作 “speedy”) 是 一 个 谷歌 开发 的 开放 的 网 络 协 议 ， 主 要 运用 于 web 内容 传输 。SPDY 
操纵 HTTP 流量 ,目标 是 减少 web 页 面 加 载 延 迟 ,提高 网 络 安全 。SPDY 达到 通过 压缩 、 多 路 

复 用 和 优先 级 来 减少 延迟 ， 虽 然 这 取决 于 网 络 和 网 站 部 署 条 件 的 组 合 。“SPDY” 这 个 名 字 是 谷 
歌 的 一 个 商标 ,不 是 一 个 首 字母 缩写 。 (摘自 http://en.wikipedia.org/Wwiki/SPDY) 

Netty 的 包 支 持 SPDY。 正 如 我 们 已 经 看 到 在 其 他 情况 下 ,这 种 支持 将 使 您 能 够 使 用 SPDY 无 


需 担 心 所 有 的 内 部 细节 。 在 这 一 章 里 ,我 们 将 提供 你 需要 的 所 有 信息 关于 在 您 的 应 用 程序 中 局 
用 SPDY ， 并 同时 支持 SPDY 和 HTTP ° 


SPDY 45 X 


Google 开发 SPDY 是 为 了 解决 扩展 性 的 问题 。 主 要 的 任务 是 加 载 内 容 的 速度 更 快 ， 做 了 如 下 
工作 : 


e 每 个 头 都 是 压缩 的 ， 消 息 体 的 压缩 是 可 选 的 ,因为 它 可 能 对 代理 服务 器 有 问题 
e 所 有 的 加 密 都 使 用 TLS 每 个 连接 多 个 转移 是 可 能 的 数据 集 可 以 单独 设置 优先 级 ,使 关键 
内 容 先 被 转移 


下 表 是 与 HTTP 的 对 比 


Table 12.1 Comparison of SPDY and HTTP 


浏览 器 HTTP 1.1 SPDY 
Jo Not by default Yes 
Header 压缩 No Yes 
全 双 工 No Yes 
Server push No Yes 
优先 级 No Yes 


一 些 使 用 场合 和 指标 显示 ， 可 以 SPDY 让 页 面 加 载 速度 比 H TTP 原先 快 50% 。 


现在 SPDY 的 协议 草案 规范 是 1,2 和 3，Netty 支持 2 和 3， 主 要 考虑 到 这 个 是 被 广大 浏览 器 
所 支持 的 版 本 。 现在 很 多 浏览 器 都 支持 SPDY， 见 下 表 : 


Table 12.2 Browsers that support SPDY 


浏览 器 版 本 
Chrome 19+ 
Chromium 19+ 
Mozilla Firefox 11+ (从 13 起 默认 开启 ) 


Opera 12.10+ 
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编写 一 个 简单 的 服务 器 应 用 程序 ,向 您 展示 如 何 将 SPDY 集成 到 你 的 下 一 个 应 用 程序 。 它 只 会 
提供 一 些 静 态 内 容 回 客户 机 。 这 些 内 容 将 取决 于 所 使 用 协议 是 HTTPS 或 SPDY 。 如 果 服务 

器 提供 SPDY 是 可 以 被 客户 端 浏览 器 所 支持 ， 则 自动 切换 到 SPDY 。 图 12.1 显 示 了 应 用 程序 
的 流程 


Webbrowser 


a 


Served via 
SPDY 





对 于 这 个 应 用 程序 只 编写 一 个 服务 器 组 件 处 理 HTTPS 和 SPDY。 为 了 演示 其 功能 使 用 两 个 不 
同 的 web 浏览 器 ,一 个 支持 SPDY, 另 外 一 个 不 支持 。 


实现 
SPDY 使 用 TLS 的 扩展 称 为 Next Protocol Negotiation (NPN)。 在 Java 中 ,我 们 有 两 种 不 同 的 
方式 选择 的 基于 NPN 的 协议 : 


e 使 用 ssl npn,NPN 的 开源 SSL 提供 者 。 
e 使 用 通过 Jetty 的 NPN 扩展 库 。 


在 这 个 例子 中 使 用 Jetty 库 。 如 果 你 想 使 用 ssl _npn, 请 参 
阅 https://github.com/benmmurphy/ssl_npn 项 目 文档 


Jetty NPN 库 
Jetty NPN 库 是 一 个 外 部 的 库 ,而 不 是 Netty 的 本 身 的 一 部 分 。 它 用 于 处 理 Next Protocol 
Negotiation, 这 是 用 于 检测 客户 端 是 否 支 持 SPDY ° 


集成 Next Protocol Negotiation 


Jetty 库 提供 了 一 个 接口 称 为 ServerProvider, 确 定 所 使 用 的 协议 和 选择 哪个 钓 子 。 这 个 的 实现 
可 能 取决 于 不 同 版 本 的 HTTP 和 SPDY 版 本 的 支持 。 下 面 的 清单 显示 了 将 用 于 我 们 的 示例 应 
用 程序 的 实现 。 


Listing 12.1 Implementation of ServerProvider 


public class DefaultServerProvider implements NextProtoNego.ServerProvider { 
private static final List«String» PROTOCOLS - 
Collections.unmodifiableList(Arrays.asList("spdy/2", "spdy/3", "http/1.1") 
Ve He 


private String protocol; 


@Override 
public void unsupported() { 
protocol = "http/1.1"; //2 


} 


@Override 
public List<String> protocols() { 
return PROTOCOLS; //3 


} 


@Override 
public void protocolSelected(String protocol) { 
this.protocol = protocol; //4 


} 


public String getSelectedProtocol() { 
return protocol; //5 


} 


定义 所 有 的 ServerProvider 实现 的 协议 
设置 如 果 SPDY 协议 失败 了 就 转 到 http/1.1 
返回 支持 的 协议 的 列表 

设置 选择 的 协议 

返回 选择 的 协议 


POD 


在 ServerProvider 的 实现 ， 我 们 支持 下 面 的 3 种 协议 : 


e SPDY 2 
e SPDY 3 
e HTTP 1.1 


如 果 客 户 端 不 支持 SPDY ， 则 默认 使 用 HTTP 1.1 


` 


实现 各 种 ChannelHandler 


第 一 个 ChannellnboundHandler 是 用 于 不 支持 SPDY 的 情况 下 处 理 客户 端 HTTP 请 求 ， 如 果 
不 支持 SPDY 就 回 滚 使 用 默认 的 HTTP. 协议 。 


清单 12.2 显 示 了 HTTP 流 量 的 处 理 程序 。 


Listing 12.2 Implementation that handles HTTP 


1. 


@ChannelHandler.Sharable 
public class HttpRequestHandler extends SimpleChannelInboundHandler<FullHttpRequest> { 
@Override 
public void channelReadO(ChannelHandlerContext ctx, FullHttpRequest request) throw 
s Exception { //1 
if (HttpHeaders.isi100ContinueExpected(request)) { 
sendi100Continue(ctx); //2 


FullHttpResponse response = new DefaultFullHttpResponse(request.getProtocolVer 
sion(), HttpResponseStatus.OK); //3 

response.content().writeBytes(getContent().getBytes(CharsetUtil.UTF 8)); //4 

response.headers().set(HttpHeaders.Names.CONTENT TYPE, "text/plain; charset-UT 
F-8"); //5 


boolean keepAlive - HttpHeaders.isKeepAlive(request); 


if (keepAlive) ( //6 
response.headers().set(HttpHeaders.Names.CONTENT LENGTH, response.content( 
).readableBytes()); 


response.headers().set(HttpHeaders.Names.CONNECTION, HttpHeaders.Values.KE 
EP ALIVE); 


} 


ChannelFuture future = ctx.writeAndFlush(response); //7 


if (!keepAlive) { 
future.addListener (ChannelFutureListener.CLOSE); //8 


protected String getContent() { //9 
return "This content is transmitted via HTTP\r\n"; 


private static void sendi00Continue(ChannelHandlerContext ctx) { //10 
FullHttpResponse response = new DefaultFullHttpResponse(HttpVersion.HTTP_1_1, 
HttpResponseStatus.CONTINUE) ; 
ctx.writeAndFlush(response) ; 


@Override 
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) 
throws Exception { //11 
cause. printStackTrace(); 
ctx.close(); 


* 5 channelReadO() ,可 以 被 所 有 的 接收 到 的 FullHttpRequest 调用 


检查 如 果 接 下 来 的 响应 是 预期 的 ， 就 写 入 
新 建 FullHttpResponse, 用 于 对 请 求 的 响应 
生成 响应 的 内 容 ， 将 它 写 入 payload 
设置 头 文件 ， 这 样 客户 端 就 能 知道 如 何 与 响应 的 payload 交互 
检查 请 求 设 置 是 否 启 用 了 keepalive; 如 果 是 这 样 ,将 标题 设置 为 符合 HTTP RFC 
写 响应 给 客户 端 ， 并 获取 到 Future 的 引用 ， 用 于 写 完成 时 ， 获 取 到 通知 
如 果 响 应 不 是 keepalive， 在 写 完成 时 关闭 连接 
返回 内 容 作 为 响应 的 payload 
Helper 方法 生成 了 100 持续 es 并 写 回 给 客户 端 
若 执行 阶段 抛 出 异常 ， 则 关闭 管 
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这 就 是 Netty 处 理 标准 的 HTTP“。 你 可 能 需要 分 别处 理 特定 URI ,应 对 不 同 的 状态 代码 ,这 取 
决 于 资源 存在 与 否 ,但 基本 的 概念 将 是 相同 的 。 


我 们 的 下 一 个 任务 将 会 提供 一 个 组 件 来 支持 SPDY 作为 首选 协议 。 Netty 提供 了 简单 的 处 理 
SPDY 方法 。 这 些 将 使 您 能 够 重用 FullHttpRequest 和 FullHttpResponse 消息 ， 通 过 SPDY 
透明 地 接收 和 发 送 他 们 。 


HttpRequestHandler 虽然 是 我 们 可 以 重用 代码 ,我 们 将 改变 我 们 的 内 容 写 回 客户 端 只 是 强调 协 
议 变 化 ;通常 您 会 返回 相同 的 内 容 。 下 面 的 清单 展示 了 实现 , 它 扩展 了 先前 的 
HttpRequestHandler ° 


Listing 12.3 Implementation that handles SPDY 


@ChannelHandler.Sharable 
public class SpdyRequestHandler extends HttpRequestHandler { //1 
@Override 
protected String getContent() { 
return "This content is transmitted via SPDY\r\n"; //2 


} 


.继承 FtpRequesthlandler 这 样 就 能 共享 相同 的 逻辑 
2. 生产 内 容 写 到 payload。 这 个 重 写 了 HttpRequestHandler 的 getContent() 的 实现 


SpdyRequestHandler 继承 自 HttpRequestHandler, 但 区 别 是 : 写 入 的 内 容 的 payload 状态 的 响 
应 是 在 SPDY 写 的 。 


我 们 可 以 实现 两 个 处 理 程序 逻辑 ,将 选择 一 个 相 匹 配 的 协议 。 然 而 添加 以 前 写 过 的 处 理 程 序 到 
ChannelPipeline 是 不 够 的 ;正确 的 编 解码 器 还 需要 补充 。 它 的 责任 是 检测 传输 字 节 数 ,然后 使 
用 FullHttpResponse 和 FullHttpRequest 的 抽象 进行 工作 。 


Netty 的 附带 一 个 基 类 ,完全 能 做 这 个 。 所 有 您 需要 做 的 是 实现 逻辑 选择 协议 和 选择 适当 的 处 理 
程序 。 
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清单 12.4 显 示 了 实现 , 它 使 用 Netty 的 提供 的 抽象 基 类 


public class DefaultSpdyOrHttpChooser extends SpdyOrHttpChooser { 


public DefaultSpdyOrHttpChooser(int maxSpdyContentLength, int maxHttpContentLength 


ye 
super (maxSpdyContentLength, maxHttpContentLength) ; 


@Override 
protected SelectedProtocol getProtocol(SSLEngine engine) { 
DefaultServerProvider provider = (DefaultServerProvider) NextProtoNego.get(eng 
ine); //1 
String protocol = provider.getSelectedProtocol(); 
if (protocol == null) { 
return SelectedProtocol.UNKNOWN; //2 
} 
switch (protocol) { 
case "spdy/2": 
return SelectedProtocol.SPDY_2; //3 
case "spdy/3.1": 
return SelectedProtocol.SPDY_3_1; //4 
case "http/1.1": 
return SelectedProtocol.HTTP_1_1; //5 
default: 
return SelectedProtocol.UNKNOWN; //6 


@Override 
protected ChannelInboundHandler createHttpRequestHandlerForHttp() { 
return new HttpRequestHandler(); //7 


@Override 
protected ChannelInboundHandler createHttpRequestHandlerForSpdy() { 
return new SpdyRequestHandler(); //8 


} 

} 

1. 使 用 NextProtoNego 用 于 获取 DefaultServerProvider 的 引用 , 用 于 SSLEngine 
2. 协议 不 能 被 检测 到 。 一 旦 字 节 已 经 准备 好 读 ,检测 过 程 将 重新 开始 。 
3. SPDY 2 被 检测 到 
4. SPDY 3 被 检测 到 
5. HTTP 1.1 被 检测 到 
6.， 未 知 协议 被 检测 到 
7. 将 会 被 调用 给 FullHttpRequest 消息 添加 处 理 器 。 该 方法 只 会 在 不 支持 SPDY 时 调用 ， 


那么 将 会 使 用 HTTPS 
8. 将 会 被 调用 给 FullHttpRequest 消息 添加 处 理 器 。 该 方法 在 支持 SPDY 时 调用 


该 实现 要 注意 检测 正确 的 协议 并 设置 ChannelPipeline 。 它 可 以 处 理 SPDY 版 本 2、3 和 
HTTP 1.1, 但 可 以 很 容易 地 修改 SPDY 支持 额外 的 版 本 。 


设置 ChannelPipeline 


通过 实现 Channellnitializer 将 所 有 的 处 理 器 连接 到 一 起 。 正 如 你 所 了 解 的 那样 ,这 将 设置 
ChannelPipeline 并 添加 所 有 需要 的 ChannelHandler 的 。 


SPDY 需要 两 个 ChannelHandler: 


e SslHandler, 用 于 检测 SPDY 是 否 通过 TLS 扩展 
e DefaultSpdyOrHttpChooser, 用 于 当 协 议 被 检测 到 时 ， 添 加 正确 的 ChannelHandler 到 
ChannelPipeline 


除了 添加 ChannelHandler 到 ChannelPipeline, Channellnitializer 还 有 另 一 个 责任 ; 即 ,分 配 之 
前 创建 的 DefaultServerProvider 通过 SslHandler 到 SslEngine 。 这 将 通过 Jetty NPN 类 库 的 
NextProtoNego helper 类 实现 


Listing 12.5 Implementation that handles SPDY 


public class SpdyChannelInitializer extends ChannelInitializer<SocketChannel> { //1 
private final SslContext context; 


public SpdyChannelInitializer(SslContext context) //2 { 
this.context = context; 


} 


@Override 

protected void initChannel(SocketChannel ch) throws Exception { 
ChannelPipeline pipeline - ch.pipeline(); 
SSLEngine engine = context.newEngine(ch.alloc()); //3 
engine.setUseClientMode(false); //4 


NextProtoNego.put(engine, new DefaultServerProvider()); //5 
NextProtoNego.debug - true; 


pipeline.addLast("sslHandler", new SslHandler(engine)); //6 
pipeline.addLast("chooser", new DefaultSpdyOrHttpChooser(1024 * 1024, 1024 * 1 
024)); 


继承 Channellnitializer 是 一 个 简单 的 开始 

传递 SSLContext 用 于 创建 SSLEngine 

新 建 SSLEngine, 用 于 新 的 管道 和 连接 

配置 SSLEngine 用 于 非 客 户 端 使 用 

通过 NextProtoNego helper 类 绑 定 DefaultServerProvider 到 SSLEngine 
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6. 添加 SslHandler 到 ChannelPipeline 这 将 会 在 协议 检测 到 时 保存 在 ChannelPipeline 
7. 添加 DefaultSpyOrHttpChooser 到 ChannelPipeline 。 这 个 实现 将 会 监测 协议 。 添 加 正 
确 的 ChannelHandler 到 ChannelPipeline, 并 且 移 除 自身 


实际 的 ChannelPipeline 设置 将 会 在 DefaultSpdyOrHttpChooser 实现 之 后 完成 ,因为 在 这 一 点 
上 它 可 能 只 需要 知道 客户 端 是 否 支 持 SPDY 


为 了 说 明 这 一 点 ,让 我 们 总 结 一 下 ,看 看 不 同 ChannelPipeline 状态 期 间 与 客户 连接 的 生命 周 
期 。 图 12.2 显 示 了 在 Channel 初始 化 后 的 ChannelPipeline 。 
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Figure 12.2 ChannelPipeline after connection 


现在 ,这 取决 于 客户 端 是 否 支持 SPDY' 管 道 将 修改 DefaultSpdyOrHttpChooser 来 处 理 协议 。 之 
后 并 不 需要 添加 所 需 的 ChannelHandler 到 ChannelPipeline, 所 以 删除 本 身 。 这 个 逻辑 是 由 拍 
$- SpdyOrHttpChooser 331 € ,DefaultSpdyOrHttpChooser 父 类 。 


图 12.3 显 示 了 支持 SPDY 的 ChannelPipeline 用 于 连接 客户 端的 配置 。 
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Figure 12.3 ChannelPipeline if SPDY is supported 


每 个 ChannelHandler 负责 的 一 小 部 分 工作 ,这 个 就 是 对 基于 Netty 构造 的 应 用 程序 最 完美 的 
诠释 。 每 个 ChannelHandler 的 职责 如 表 12.3 所 示 。 


Table 12.3 Responsibilities of the ChannelHandlers when SPDY is used 


名 称 职责 


SslHandler 加 解密 两 端 交换 的 数据 
SpdyFrameDecoder 从 接收 到 的 SPDY 帧 中 解码 字 节 
SpdyFrameEncoder 编码 SPDY 帧 到 字 节 
SpdySessionHandler 处 理 SPDY session 
SpdyHttpEncoder 编码 HTTP 消息 到 SPDY i 
SpdyHttpDecoder 解码 SDPY 帧 到 HTTP 消息 


SpdyHttpResponseStreamldHandler ”处 理 基 于 SPDY ID 请 求 和 响应 之 间 的 映射 关系 


处 理 FullHttpRequest, 用 于 从 SPDY 帧 中 解码 ， 


SpdyRequestHandler 此 允许 SPDY 透明 传输 使 用 


当 协 议 是 HTTP(s) 时 ，ChannelPipeline 看 起 来 相当 不 同 ,如 图 13.4 所 示 。 
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Figure 12.3 ChannelPipeline if SPDY is not supported 
和 之 前 一 样 ,每 个 ChannelHandler 都 有 职责 ,定义 在 表 12.4 


Table 12.4 Responsibilities of the ChannelHandlers when HTTP is used 


名 称 职责 
SslHandler 加 解密 两 端 交 换 的 数据 
HttpRequestDecoder 从 接收 到 的 HTTP 请 求 中 解码 字 节 
HttpResponseEncoder 编码 HTTP 响应 到 字 节 


HttpObjectAggregator 处 理 SPDY session HttpRequestHandler | 解码 时 处 理 
FullHttpRequest 


所 有 东西 组 合 在 一 起 
所 有 的 ChannelHandler 实现 已 经 准备 好 ， 现 在 组 合成 一 个 SpdyServer 


Listing 12.6 SpdyServer implementation 


public class SpdyServer { 


private final NioEventLoopGroup group = new NioEventLoopGroup(); //1 
private final SslContext context; 
private Channel channel; 


public SpdyServer(SslContext context) { //2 
this.context - context; 


public ChannelFuture start(InetSocketAddress address) { 
ServerBootstrap bootstrap = new ServerBootstrap(); //3 
bootstrap.group(group) 
.channel(NioServerSocketChannel.class) 
.childHandler(new SpdyChannelInitializer(context)); //4 
ChannelFuture future = bootstrap.bind(address); //5 
future.syncUninterruptibly(); 
channel - future.channel(); 
return future; 


public void destroy() { //6 
if (channel != null) { 
channel.close(); 


} 
group.shutdownGracefully(); 


public static void main(String[] args) throws Exception { 
if (args.length != 1) { 
System.err.println("Please give port as argument"); 
System.exit(1); 
} 
int port = Integer.parseInt(args[0]); 


SelfSignedCertificate cert = new SelfSignedCertificate(); 

SslContext context = SslContext.newServerContext(cert.certificate(), cert.priv 
ateKey()); //7 

final SpdyServer endpoint = new SpdyServer(context); 

ChannelFuture future = endpoint.start(new InetSocketAddress(port)); 


Runtime.getRuntime().addShutdownHook(new Thread() { 
@Override 
public void run() { 
endpoint.destroy(); 


3); 


future.channel().closeFuture().syncUninterruptibly(); 
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构建 新 的 NioEventLoopGroup 用 于 处 理 IO 

传递 SSLContext 用 于 加 密 

新 建 ServerBootstrap 用 于 配置 服务 器 

配置 ServerBootstrap 

绑 定 服务 器 用 于 接收 指定 地 址 的 连接 

销毁 服务 器 ， 用 于 关闭 管道 和 NioEventLoopGroup 

从 BogusSslContextFactory 获取 SSLContext 。 这 是 一 个 虚拟 实现 进行 测试 。 引 正 的 实 
现 将 为 SsIContext 配置 适当 的 密 钥 存储 库 。 


启动 SpdyServer 并 测试 


请 注意 , 当 您 使 用 Jetty NPN 库 需 要 提供 它 的 位 置 通过 bootclasspath 的 JVM 参数 。 这 一 步 是 
必需 的 ,这 样 才能 访问 SsIEngine 接 口 。( -xbootclasspath 选项 允许 您 覆盖 标准 IDK 附带 的 实 


BLK) 。 
下 面 的 清单 显示 了 特殊 的 参数 ( -Xbootclasspath ) 使 用 s 


Listing 12.7 SpdyServer implementation 


java -Xbootclasspath/p:<path_to_npn_boot_jar> .... 


最 简单 的 方式 是 使 用 Maven 项 目 管理 : 
Listing 12.8 Compile and start SpdyServer with Maven 


$ mvn clean package exec:exec -Pchapter12-SpdyServer 

[INFO] Scanning for projects... 

[INFO] 

[ENE ON 7 EE EE 
[INFO] Building netty-in-action 0.1-SNAPSHOT 

ENEO 


[INFO] 

[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ netty-in-action --- 

[INFO] Building jar: /Users/norman/Documents/workspace-intellij/netty-in-actionprivate 
/ 

target/netty-in-action-@.1-SNAPSHOT. jar 

[INFO] 

[INFO] --- exec-maven-plugin:1.2.1:exec (default-cli) @ netty-in-action --- 


可 以 用 2 个 浏览 器 进行 测试 ， 一 个 支持 SPDY 一 个 不 支持 ， 这 里 我 们 用 的 是 Google Chrome 
(支持 SPDY) 和 Safari 。 
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浏览 器 访问 httos://127.0.0.1:9999 ;会 显示 SpdyRequestHandler 的 处 理 结 果 ， 如 下 图 


启动 SpdyServer 并 测试 
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Figure 12.4 SPDY supported by Google Chrome 


Google Chrome 的 一 个 很 好 的 功能 是 可 以 统计 数据 ， 可 以 很 好 的 看 到 连接 情况 。 在 浏览 器 中 
访问 chrome://net-internals/#spdy 可 以 看 到 详细 的 统计 数据 
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Figure 12.5 SPDY statistics 


若 不 支持 SPDY » Hd KATA Safari 浏览 器 访问 https://127.0.0.1:9999 ， 则 响应 将 会 用 
HttpRequestHandler 处 理 
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启动 SpdyServer 并 测试 








[al> | | @ hips à. 127.0.0.1:9999 





This content is transmitted via HTTP 


Figure 12.7 SPDY not supported by Safari 


229 


& 2 
在 这 一 章 里 ,你 学 习 了 如 何在 基于 Netty 应 用 程序 同时 简单 的 使 用 SPDY 和 HTTP(s)。 这 提供 
了 一 个 基础 ,您 可 以 受益 于 性 能 于 SPDY 提供 的 增强 ,同时 允许 现 有 客户 访问 您 的 应 用 程序 。 
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您 学 习 了 如 何 使 用 Netty 提供 的 SPDY 助手 类 ,如 何 使 用 Google Chrome 获 取 更 多 的 运行 时 人 


息 协 议 。 
一 路 上 我 们 看 到 了 再 次 修改 ChannelPipeline 如 何 帮助 您 构建 强大 的 多 路 复 用 器 在 单个 连接 的 


生命 周期 切换 协议 。 
下 一 章 你 学 习 如 何 利 用 高 性 能 、 无 连接 的 UDP © 


通过 UDP 广播 事件 


本 章 介 绍 


e UDP 介绍 
e ChannelHandler, Decoder, 和 Encoder 
e 引导 基于 Netty 的 应 用 


前 面 的 章节 都 是 在 示例 中 使 用 TCP 协议 ， 这 一 章 ， 我 们 将 使 用 UDP。UDP 是 一 种 无 连接 协 
议 ， 若 需要 很 高 的 性 能 和 对 数据 的 完成 性 没有 严格 要 求 ， 那 使 用 UDP 是 一 个 很 好 的 方法 。 最 
著名 的 基于 UDP 协议 的 是 用 来 域名 解析 的 DNS。 这 一 章 将 给 你 一 个 好 的 理解 的 无 连接 协议 所 
以 你 能 够 做 出 明智 的 决定 何 时 使 用 UDP 在 您 的 应 用 程序 。 


我 们 将 首先 从 一 个 UDP 的 概述 ,其 特点 和 局 限 性 开始 讲解 。 之 后 ,我 们 将 在 本 章 描述 了 示例 应 
用 程序 的 开发 。 


UDP 基础 


面向 连接 的 传输 协议 (如 TCP) 管 理 建立 一 个 两 个 网 络 端 点 之 间 调 用 (或 “连接 ”), 命 令 和 可 靠 的 消 
息 传 输 在 调用 的 生命 周期 期 间 , 最 后 有 序 在 调用 终止 时 终止 。 与 此 相反 ,在 这 样 一 个 无 连接 协议 
UDP 没有 持久 连接 的 概念 ,每 个 消息 (UDP 数据 报 ) 是 一 个 独立 的 传播 。 


此 外 ,UDP HA TCP 的 纠 错 机 制 ,其 中 每 个 对 等 承认 它 接收 的 数据 包 并 由 发 送 方 传送 包 。 


以 此 类 推 ,一 个 TCP 连接 就 像 一 个 电话 交谈 ,一 系列 的 命令 消息 流 在 两 个 方向 上 。UDP, 男 一 方 
面 ,就 像 把 一 堆 明 信 片 丢 进 信箱 。 我 们 不 能 知道 他 们 到 达 目 的 地 的 顺序 ,以 及 他 们 是 否 能 够 到 
达 。 

虽然 UDP 存在 某 些 方面 的 的 局 限 性 ,这 也 解释 了 为 什么 它 是 如 此 远 远 快 于 TCP: 所 有 的 握手 和 


消息 管理 的 开销 已 被 消灭 。 显 然 ,UDP 是 一 种 只 适合 应 用 程序 可 以 处 理 或 容忍 丢失 消息 ， 而 不 
是 例如 处 理 金 钱 交 易 。 


UDP 广播 

我 们 所 有 的 例子 这 一 点 利用 传输 方式 称 为 “ 单 播 "将 消息 发 送 给 一 个 网 络 拥 有 唯一 地 址 的 目的 
地 ”， 这 种 模式 支持 连接 和 无 连接 协议 。 

然而 ,UDP 提供 了 额外 的 传输 模式 对 多 个 接收 者 发 送 消息 : 


e 多 播 :传送 给 一 组 主机 
。 广播 :传送 到 网 络 上 的 所 有 主机 (或 子 网 ) 
示例 应 用 程序 在 本 章 将 说 明 使 用 UDP 广播 发 送 消息 ,可 以 接收 到 所 有 主机 在 同一 网 络 。 为 此 我 
们 将 使 用 特殊 的 “有 限 广播 或“ 零 "网 络 地 址 255.255.255.255。 消 息 发 送 到 这 个 地 址 是 规定 要 在 
本 地 网 络 (0.0.0.0) 的 所 有 主机 和 从 不 转发 到 其 他 网 络 通过 路 由 器 。 


下 一 节 将 讨论 示例 应 用 程序 的 设计 。 


UDP 示例 


我 们 的 示例 应 用 程序 将 打开 一 个 文件 ， 将 每 一 行 作为 消息 通过 UDP 发 到 指定 的 端口 。 如 果 你 
熟悉 类 UNIX 操作 系统 ,可 以 认为 这 是 一 个 非常 标准 的 简化 版 本 “syslog (系统 日 志 ) ” » “UDP 
， 是 一 个 完美 的 适合 这 样 的 应 用 程序 ， 因 为 偶尔 丢失 一 行 日 志文 件 可 以 被 容忍 ,因为 文件 本 身 
存储 在 文件 系统 中 。 此 外 ,应 用 程序 提供 了 非常 有 价值 的 能 力 有 效 地 处 理 大 量 的 数据 。 


UDP 广播 使 添加 新 事件 “监视 器 "接收 日 志 消息 一 样 简单 开始 一 个 指定 的 端口 上 侦 听 器 程序 。 
然而 ,这 种 轻松 的 访问 也 提出 了 一 个 潜在 的 安全 问题 ,指出 为 什么 UD P 广 播 往往 是 在 安全 的 环 
境 中 使 用 。 还 要 注意 广播 消息 可 能 只 能 在 本 地 网 络 ,因为 路 由 器 经 常 阻止 他 们 。 


Publish/Subscribe (发 布 /订阅 ) 


应 用 程序 ， 如 syslog 通常 归 类 为 “发 布 /订阅 ”; 生 产 者 或 服务 发 布 事件 和 多 个 订阅 者 可 以 收 到 它 
们 。 


整体 看 下 这 个 应 用 ， 如 下 图 : 


Listen on new file 
content 





Event-monitor Event-monitor Event-monitor Event-monitor 


Listen for Listen for Listen for 
UDP UDP UDP UDP 


message message message message 





1. 应 用 监听 新 文件 内 容 
2， 事 件 通过 UDP 广播 
3. 事件 监视 器 监听 并 显示 内 容 


Figure 13.1 Application overview 


应 用 程序 有 两 个 组 件 :广播 器 和 监视 器 或 (可 能 有 多 个 实例 )。 为 了 简单 起 见 我 们 不 会 添加 身份 
验证 、 验 证、 加 密 。 


在 下 一 节 中 我 们 将 开始 探索 实现 中 ,我 们 还 将 讨论 UDP 和 TCP 应 用 程序 开发 之 间 的 差异 。 


EventLog 的 POJO 


在 消息 应 用 里 面 ， 数 据 一 般 以 POJO 形式 呈现 。 这 可 能 保存 配置 或 处 理 信息 除了 实际 的 消息 
数据 。 在 这 个 应 用 程序 里 ， 消 息 的 单元 是 一 个 “事件 ”。 由 于 数据 来 自 一 个 日 志文 件 ， 我 们 将 称 
之 为 LogEvent ° 


清单 13.1 显 示 了 这 个 简单 的 POJO 的 细节 。 


Listing 13.1 LogEvent message 


public final class LogEvent { 
public static final byte SEPARATOR = (byte) ':'; 


private final InetSocketAddress source; 
private final String logfile; 

private final String msg; 

private final long received; 


public LogEvent(String logfile, String msg) { //1 
this(null, -1, logfile, msg); 


public LogEvent(InetSocketAddress source, long received, String logfile, String ms 
g) { //2 
this.source = source; 
this.logfile = logfile; 
this.msg = msg; 
this.received = received; 


public InetSocketAddress getSource() { //3 
return source; 


public String getLogfile() { //4 
return logfile; 


public String getMsg() { //5 
return msg; 


public long getReceivedTimestamp() { //6 
return received; 


oak WN > 


构造 器 用 于 出 站 消息 

构造 器 用 于 入 站 消息 

返回 发 送 LogEvent 的 InetSocketAddress 的 资源 
返回 用 于 发 送 LogEvent 的 日 志文 件 的 名 称 

返回 消息 的 内 容 

返回 LogEvent 接收 到 的 时 间 


> J] we 
ZI 4825 


本 节 ， 我 们 将 写 一 个 广播 器 。 下 图 展示 了 广播 一 个 DatagramPacket 在 每 个 日 志 实体 里 面 的 
方法 









Mar 24 21:00:38 dev-linux dhclient: DHCPREQUEST of... 


| 


















Mar 24 21:00:38 dev-linux dhclient: DHCPACK of ... 7 
a 
Mar 24 21:00:38 dev-linux dhclient: bound to. 多 e 
% * 
à ; DatagramPacket 
2 z 
4 $$  \|Mar 24210038 devdinux dhdlient 
/ 4 DHCPREQUEST of ... 
; * 
4 
/ DatagramPacket 
4 Var 74 7T UU 38 
Á DHCPACK of ... 
EA 


DatagramPacket 








Mar 24 21:00.38 dev-linux dhdient 
bound to 192 168.0. ... 


1 日 志文 件 
2. 日 志文 件 中 的 日 志 实 体 
3. 一 个 DatagramPacket 保持 一 个 单独 的 日 志 实 体 


Figure 13.2 Log entries sent with DatagramPackets 


图 13.3 表 示 一 个 LogEventBroadcaster 的 ChannelPipeline 的 高 级 视图 ,说 明了 LogEvent 是 
如 何 流转 的 。 
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Figure 13.3 LogEventBroadcaster: ChannelPipeline and LogEvent flow 


正如 我 们 所 看 到 的 ,所 有 的 数据 传输 都 封装 在 LogEvent 74 & €. » LogEventBroadcaster 写 这 
些 通过 在 本 地 端的 管道 ,发 送 它们 通过 ChannelPipeline 转换 (编码 ) 为 一 个 定制 的 
ChannelHandler 的 DatagramPacket 信息 。 最 后 ,他 们 通过 UDP 广播 并 被 远程 接收 。 


编码 器 和 解码 器 


编码 器 和 解码 器 将 消息 从 一 种 格式 转换 为 另 一 种 ,深度 探讨 在 第 7 章 中 进行 。 我 们 探索 Netty 提 
供 的 基础 类 来 简化 和 实现 自 定 义 ChannelHandler 如 LogEventEncoder 在 这 个 应 用 程序 中 。 


下 面 展 示 了 编码 器 的 实现 


Listing 13.2 LogEventEncoder 


public class LogEventEncoder extends MessageToMessageEncoder<LogEvent> { 
private final InetSocketAddress remoteAddress; 


public LogEventEncoder(InetSocketAddress remoteAddress) { //1 
this.remoteAddress - remoteAddress; 


@Override 
protected void encode(ChannelHandlerContext channelHandlerContext, LogEvent logEve 
nt, List<Object> out) throws Exception { 
byte[] file = logEvent.getLogfile().getBytes(CharsetUtil.UTF_8); //2 
byte[] msg = logEvent.getMsg().getBytes(CharsetUtil.UTF_8); 
ByteBuf buf = channelHandlerContext.alloc().buffer(file.length + msg.length + 
1); 
buf .writeBytes(file); 
buf .writeByte(LogEvent.SEPARATOR); //3 
buf.writeBytes(msg); //4 
out.add(new DatagramPacket(buf, remoteAddress)); //5 
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LogEventEncoder 创建 了 DatagramPacket 消息 类 发 送 到 指定 的 InetSocketAddress 
写 文 件 名 到 ByteBuf 

添加 一 个 SEPARATOR 

写 一 个 日 志 消 息 到 ByteBuf 

添加 新 的 DatagramPacket 到 出 站 消息 


为 什么 使 用 MessageToMessageEncoder? 


当然 我 们 可 以 编写 自己 的 自 定义 ChannelOutboundHandler 来 转换 LogEvent 对 象 到 


DatagramPackets。 但 是 继承 自 MessageToMessageEncoder 为 我 们 简化 和 做 了 大 部 分 的 工 


作 。 


为 了 实现 LogEventEncoder， 我 们 只 需要 定义 服务 器 的 运行 时 配置 ,我 们 称 之 
为 “bootstrapping (引导 ) ”。 这 包括 设置 各 种 ChannelOption 并 安装 需要 的 ChannelHandler 


到 ChannelPipeline 中 。 完 成 的 LogEventBroadcaster 类 ,如 清单 13.3 所 示 。 


Listing 13.3 LogEventBroadcaster 


public class LogEventBroadcaster { 


private final Bootstrap bootstrap; 
private final File file; 
private final EventLoopGroup group; 


public LogEventBroadcaster(InetSocketAddress address, File file) { 
group = new NioEventLoopGroup(); 
bootstrap = new Bootstrap(); 
bootstrap. group(group) 
.channel(NioDatagramChannel.class) 
.option(ChannelOption.SO BROADCAST, true) 
.handler(new LogEventEncoder(address)); //1 


this.file - file; 


public void run() throws IOException { 
Channel ch = bootstrap.bind(0).syncUninterruptibly().channel(); //2 
System.out.println("LogEventBroadcaster running"); 
long pointer - 0; 
for (;;) { 
long len - file.length(); 
if (len « pointer) { 
// file was reset 
pointer - len; //3 
) else if (len > pointer) { 
// Content was added 
RandomAccessFile raf - new RandomAccessFile(file, "r"); 
raf.seek(pointer); //4 
String line; 
while ((line = raf.readLine()) !- null) { 
ch.writeAndFlush(new LogEvent(null, -1, file.getAbsolutePath(), li 


pointer = raf.getFilePointer(); //6 
raf.close(); 
j 


try { 
Thread.sleep(1000); //7 


) catch (InterruptedException e) { 
Thread.interrupted(); 
break; 


} 


public void stop() { 
group.shutdownGracefully(); 


} 


public static void main(String[] args) throws Exception { 
if (args.length != 2) { 
throw new IllegalArgumentException(); 


j 


LogEventBroadcaster broadcaster - new LogEventBroadcaster(new InetSocketAddres 
S("255.255.255.255", 
Integer.parseInt(args[0])), new File(args[1])); //8 


try { 
broadcaster.run(); 


} finally { 
broadcaster.stop(); 


} 


1. 引导 NioDatagramChannel 。 为 了 使 用 广播 ， 我 们 设置 SO BROADCAST 的 socket 选 
项 

绑 定 管道 。 注 意 当 使 用 Datagram Channel 时 ， 是 没有 连接 的 

如 果 需 要 ， 可 以 设置 文件 的 指针 指向 文件 的 最 后 字 节 

设置 当前 文件 的 指针 ， 这 样 不 会 把 上 昌 的 发 出 去 

写 一 个 LogEvent 到 管道 用 于 保存 文件 名 和 文件 实体 。( 我 们 期 望 每 个 日 志 实 体 是 一 行 长 
度 ) 

6. 存储 当前 文件 的 位 置 ， 这 样 ， 我 们 可 以 稍 后 继续 

7. 睡 1 秒 。 如 果 其 他 中 断 退 出 循环 就 重新 启动 它 。 

8. 构造 一 个 新 的 实例 LogEventBroadcaster 并 启动 它 


eie 
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这 就 是 程序 的 完整 的 第 一 部 分 。 可 以 使 用 "netcat" 程序 查看 程序 的 结果 。 在 UNIX/Linux A 
统 ， 可 以 使 用 "nc", 在 Windows 环境 下 ， 可 以 在 http://nmap.org/ncat4X 2] 


Netcat 是 完美 的 第 一 个 测试 我 们 的 应 用 程序 ; 它 只 是 监听 指定 的 端口 上 接收 并 打印 所 有 数据 到 
标准 输出 。 将 其 设置 为 在 端口 9999 上 监听 UDP 数据 如 下 : 


$ nc -1 -u 9999 


现在 我 们 需要 启动 LogEventBroadcaster。 清单 13.4 显 示 了 如 何 使 用 mvn 编译 和 运行 广播 


ua 


8$ ° pomay i A ° pom.xml 配置 指向 一 个 文件 /var/log/syslog (假设 是 UNIX /Linux 环 境 ) 和 端 
口 设置 为 9999。 文 件 中 的 条 目 将 通过 UDP 广播 到 端口 ， 在 你 开始 netcat 后 打印 到 控制 台 。 


Listing 13.4 Compile and start the LogEventBroadcaster 


$ mvn clean package exec:exec -Pchapter13-LogEventBroadcaster 

[INFO] Scanning for projects... 

[INFO] 

[ENE ON EE aaScoerasospoqeasospscassase 
[INFO] Building netty-in-action 0.1-SNAPSHOT 

ENEON seae ser eSee soc Hoses oasonesecuose some suc 


[INFO] 

[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ netty-in-action --- 

[INFO] Building jar: /Users/norman/Documents/workspace-intellij/netty-in-actionprivate 
/ 

target/netty-in-action-@.1-SNAPSHOT. jar 

[INFO] 

[INFO] --- exec-maven-plugin:1.2.1:exec (default-cli) @ netty-in-action - 
LogEventBroadcaster running 


当 调 用 mvn 时 ， 在 系统 属性 中 改变 文件 和 端口 值 ,指定 你 想 要 的 。 清 单 13.5 设置 日 志文 件 到 
/var/log/mail.log 和 端口 8888 ° 


Listing 13.5 Compile and start the LogEventBroadcaster 


$ mvn clean package exec:exec -Pchapter13-LogEventBroadcaster / 
-Dlogfile-/var/log/mail.log -Dport=8888 -.... 


[INFO] 
[INFO] --- exec-maven-plugin:1.2.1:exec (default-cli) @ netty-in-action - 
LogEventBroadcaster running 

4 f$ #] “LogEventBroadcaster running" 说明 程 序 运 行 成 功 了 。 


netcat 只 用 于 测试 ， 但 不 适合 生产 环境 中 使 用 。 
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与 AL ve 
这 一 节 我 们 编写 一 个 监视 器 : EventLogMonitor ， 也 就 是 用 来 接收 事件 的 程序 ， 用 来 代替 
netcat ° EventLogMonitor 做 下 面 事情 : 

e 接收 LogEventBroadcaster 广播 的 UDP DatagramPacket 


。 解码 LogEvent 消息 
。 输出 LogEvent 消息 


和 之 前 一 样 ,将 实现 自 定 义 ChannelHandler 的 逻辑 。 图 13.4 描 述 了 LogEventMonitor 的 
ChannelPipeline 并 表明 了 LogEvent 的 流 经 情况 。 
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Figure 13.4 LogEventMonitor 


图 中 显示 我 们 的 两 个 自 定 义 ChannelHandlers,LogEventDecoder 和 LogEventHandler » @ 7t 
是 负责 将 网 络 上 接收 到 的 DatagramPacket 解码 到 LogEvent 消息 。 清 单 13.6 显 示 了 实现 。 


Listing 13.6 LogEventDecoder 


public class LogEventDecoder extends MessageToMessageDecoder<DatagramPacket> { 
@Override 
protected void decode(ChannelHandlerContext ctx, DatagramPacket datagramPacket, Li 
st<Object> out) throws Exception { 
ByteBuf data = datagramPacket.content(); //1 
int i = data.indexOf(0, data.readableBytes(), LogEvent.SEPARATOR); //2 
String filename = data.slice(0, i).toString(CharsetUtil.UTF 8); //3 
String logMsg = data.slice(i + 1, data.readableBytes()).toString(CharsetUtil. 
UTF 8); //4 


LogEvent event - new LogEvent(datagramPacket.recipient(), System.currentTimeMi 
llis(), 
filename, logMsg); //5 
out.add(event); 


1. 获取 DatagramPacket 中 数据 的 引用 
2. 获取 SEPARATOR 的 索引 


3. 从 数据 中 读 取 文 件 名 
4. 读 取 数据 中 的 日 志 消 息 
5. 构造 新 的 LogEvent 对 象 并 将 其 添加 到 列表 中 


第 二 个 ChannelHandler 将 执行 一 些 首先 创建 的 LogEvent 消息 。 在 这 种 情况 下 ,我 们 只 会 写 入 
system.out。 在 丨 实 的 应 用 程序 可 能 用 到 一 个 单独 的 日 志文 件 或 放 到 数据 库 。 


下 面 的 清单 显示 了 LogEventHandler 。 


Listing 13.7 LogEventHandler 


public class LogEventHandler extends SimpleChannelInboundHandler<LogEvent> { //1 


@Override 
public void exceptionCaught(ChannelHandlerContext ctx, Throwable cause) throws Exc 
eption { 
cause.printStackTrace(); //2 
ctx.close(); 


} 


@Override 
public void channelReadO(ChannelHandlerContext channelHandlerContext, LogEvent eve 
nt) throws Exception { 

StringBuilder builder = new StringBuilder(); //3 
builder .append(event.getReceivedTimestamp()); 
builder.append(" ["); 
builder.append(event.getSource().toString()); 
builder.append("] ["); 
builder.append(event.getLogfile()); 
builder.append("] : "); 
builder.append(event.getMsg()); 


System.out.println(builder.toString()); //4 


继承 SimpleChannellnboundHandler 用 于 处 理 LogEvent 消息 
在 异常 时 ， 输 出 消息 并 关闭 channel 

建立 一 个 StringBuilder 并 构建 输出 

打印 出 LogEvent 的 数据 


^om 


LogEventHandler 打印 出 LogEvent 的 一 个 易 读 的 格式 ,包括 以 下 : 


e 收 到 时 间 改 以 毫秒 为 单位 

e 发 送 方 的 InetSocketAddress, 包 括 IP 地 址 和 端口 
e LogEvent 生成 绝对 文件 名 

e. 实际 的 日 志 消息 ,代表 在 日 志文 件 中 一 行 


现在 我 们 需要 安装 处 理 程序 到 ChannelPipeline ， 如 图 13.4 所 示 。 下 一 个 清单 显示 了 这 是 如 何 
实现 LogEventMonitor 类 的 一 部 分 。 


Listing 13.8 LogEventMonitor 


public class LogEventMonitor { 


private final Bootstrap bootstrap; 
private final EventLoopGroup group; 
public LogEventMonitor(InetSocketAddress address) { 
group = new NioEventLoopGroup(); 
bootstrap = new Bootstrap(); 
bootstrap.group(group) //1 
.channel(NioDatagramChannel.class) 
.option(ChannelOption.SO BROADCAST, true) 
.handler(new ChannelInitializer<Channel>() { 
@Override 
protected void initChannel(Channel channel) throws Exception { 
ChannelPipeline pipeline = channel.pipeline(); 
pipeline.addLast(new LogEventDecoder()); //2 
pipeline.addLast(new LogEventHandler()); 


} 
}).localAddress(address); 


public Channel bind() { 
return bootstrap.bind().syncUninterruptibly().channel(); //3 


public void stop() { 
group.shutdownGracefully(); 


public static void main(String[] args) throws Exception { 
if (args.length !- 1) ( 
throw new IllegalArgumentException("Usage: LogEventMonitor <port>"); 
} 
LogEventMonitor monitor = new LogEventMonitor(new InetSocketAddress(Integer.pa 
rseInt(args[0]))); //4 
try { 
Channel channel - monitor.bind(); 
System.out.println("LogEventMonitor running"); 


channel.closeFuture().await(); 
} finally { 
monitor.stop(); 
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引导 NioDatagramChannel ° 7% i SO BROADCAST socket 选项 。 
添加 ChannelHandler 到 ChannelPipeline 


绑 定 的 通道 。 注 意 ,在 使 用 DatagramChannel 是 没有 连接 ， 因 为 这 此 


构建 一 个 新 的 LogEventMonitor 


运行 LogEventBroadcaster 和 
LogEventMonitor 


如 上 所 述 ,我 们 将 使 用 Maven 来 运行 应 用 程序 。 这 一 次 你 需要 打开 两 个 控制 台 窗口 给 每 个 杯 
目 。 用 Ctrl-C 可 以 停止 它 。 


首先 我 们 将 启动 LogEventBroadcaster 如 清单 13.4 所 示 , 除 了 已 经 构建 项 目 以 下 命令 即 可 (使 用 
RU ME): 


$ mvn exec:exec -Pchapter13-LogEventBroadcaster 


和 之 前 一 样 ,这 将 通过 UDP 广播 日 志 消息 
现在 ,在 一 个 新 窗口 ,构建 和 启动 LogEventMonitor 接收 和 显示 广播 消息 


Listing 13.9 Compile and start the LogEventBroadcaster 


$ mvn clean package exec:exec -Pchapter13-LogEventMonitor 

[INFO] Scanning for projects... 

[INFO] 

INO) 3 UE 
[INFO] Building netty-in-action 0.1-SNAPSHOT 

[ERNEOIM SEE E 
[INFO] 

[INFO] --- maven-jar-plugin:2.4:jar (default-jar) Q netty-in-action --- 
[INFO] Building jar: /Users/norman/Documents/workspace-intellij/netty-in-actionprivate 
/ 

target/netty-in-action-0.1-SNAPSHOT.jar 

[INFO] 

[INFO] --- exec-maven-plugin:1.2.1:exec (default-cli) Q netty-in-action --- 
LogEventMonitor running 


4 # #] "LogEventMonitor running" 259] 42/7 i£ 41 KAT ° 


控制 台 示 任 何事 件 被 添加 到 日 志文 件 中 ,如 下 所 示 。 消 息 的 格式 是 由 LogEventHandler 创 
ge 


Listing 13.10 LogEventMonitor output 


1364217299382 [/192.168.0.38:63182] [/var/log/messages] : Mar 25 13:55:08 dev-linux 
dhclient: DHCPREQUEST of 192.168.0.50 on eth2 to 192.168.0.254 port 67 

1364217299382 [/192.168.0.38:63182] [/var/log/messages] : Mar 25 13:55:08 dev-linux 
dhclient: DHCPACK of 192.168.0.50 from 192.168.0.254 

1364217299382 [/192.168.0.38:63182] [/var/log/messages] : Mar 25 13:55:08 dev-linux 
dhclient: bound to 192.168.0.50 -- renewal in 270 seconds. 

1364217299382 [/192.168.0.38:63182] [[/var/log/messages] : Mar 25 13:59:38 dev-linux 
dhclient: DHCPREQUEST of 192.168.0.50 on eth2 to 192.168.0.254 port 67 

1364217299382 [/192.168.0.38:63182] [/[/var/log/messages] : Mar 25 13:59:38 dev-linux 
dhclient: DHCPACK of 192.168.0.50 from 192.168.0.254 

1364217299382 [/192.168.0.38:63182] [/var/log/messages] : Mar 25 13:59:38 dev-linux 
dhclient: bound to 192.168.0.50 -- renewal in 259 seconds. 

1364217299383 [/192.168.0.38:63182] [/var/log/messages] : Mar 25 14:03:57 dev-linux 
dhclient: DHCPREQUEST of 192.168.0.50 on eth2 to 192.168.0.254 port 67 

1364217299383 [/192.168.0.38:63182] [/var/log/messages] : Mar 25 14:03:57 dev-linux 
dhclient: DHCPACK of 192.168.0.50 from 192.168.0.254 

1364217299383 [/192.168.0.38:63182] [/var/log/messages] : Mar 25 14:03:57 dev-linux 
dhclient: bound to 192.168.0.50 -- renewal in 285 seconds. 


若 你 没有 访问 UNIX syslog 的 权限 ， 可 以 创建 自 定义 的 文件 ， 手 动 填 入 内 容 。 下 面 是 UNIX 
命令 用 touch 创建 一 个 空 文件 


$ touch -/mylog.log 


再 次 启动 LogEventBroadcaster > 74 8 AHAB tE 


$ mvn exec:exec -Pchapter13-LogEventBroadcaster -Dlogfile--/mylog.log 


4 LogEventBroadcaster 运行 时 ， 你 可 以 手动 的 添加 消息 到 文件 来 查看 广播 到 
LogEventMonitor 控制 台 的 内 容 。 使 用 echo 和 输出 的 文件 


$ echo 'Test log entry’ >> -/mylog.log 


你 可 以 启动 任意 个 监视 器 实例 ， 他 们 都 会 收 到 相同 的 消息 。 
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本 章 提 供 了 一 个 无 连接 的 传输 协议 ， 如 UDP 的 介绍 。 我 们 看 到 ,在 Netty 的 您 可 以 从 TCP 切换 
到 UDP 的 同时 使 用 相同 的 APl。 您 还 了 解 了 如 何 通 过 专门 的 ChannelHandler $ 28 22 Ab 32 3€ 


辑 。 我 们 通过 独立 的 解码 器 的 逻辑 来 处 理 消息 对 象 。 


在 下 一 章 中 我 们 将 探讨 用 Netty 实现 可 重用 的 编 解 码 器 。 


"ea 


实现 自 定 义 的 编 解 码 器 


e Decoder 

e Encoder 

e 单元 测试 
本 章 讲述 Netty 中 如 何 轻 松 实现 定制 的 编 解 码 器 ， 由 于 Netty 架构 的 灵活 性 ， 这 些 编 解码 器 易 
于 重用 和 测试 。 为 了 更 容易 实现 ， 使 用 Memcached 作为 协议 例子 是 因为 它 更 方便 我 们 实 
现 。 
Memcached 是 来 自 Memcached.org 的 免费 开源 、 高 性 能 、 分 布 式 的 内 存 对 象 缓 存 系统 ， 其 
目的 是 加 速 动态 Web 应 用 程序 的 响应 ， 减 轻 数据 库 负 载 ; Memcache 实际 上 是 一 个 以 key- 
value 存储 任意 数据 的 内 存 小 块 。 可 能 有 人 会 问 “ 为 什么 使 用 Memcached ?”， 因 为 
Memcached 协议 非常 简单 ， 便 于 讲解 。 
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我 们 将 只 实现 Memcached 协议 的 一 个 子 集 ， 这 足够 我 们 进行 添加 、 检 索 、 删 除 对 象 ;在 
Memcached 中 是 通过 执行 SETGETDELETE 命令 来 实现 的 。Memcached 支持 很 多 其 他 的 
命令 ， 但 我 们 只 使 用 其 中 三 个 命令 ， 简 单 的 东西 ， 我 们 才 会 理解 的 更 清楚 。 


Memcached 有 一 个 二 进 制 和 纯 文本 协议 ， 它 们 都 可 以 用 来 与 Memcached 服务 器 通信 ， 使 用 
什么 类 型 的 协议 取决 于 服务 器 支持 哪些 协议 。 本 章 主要 关注 实现 二 进 制 协议 ， 因 为 二 进 制 在 
网 络 编程 中 最 常用 。 


` 


实现 Memcached à £443 x 


当 想 要 实现 一 个 给 定 协 议 的 编 解码 器 ， 我 们 应 该 花 一 些 
下 ， 协 议 本 身 都 有 一 些 详细 的 记录 。 在 这 里 你 会 发 现 多 少 
进 制 协议 可 以 很 好 的 扩展 。 

在 RFC 中 有 相应 的 规范 ， 可 以 在 
https://code.google.com/p/Memcached/wiki/MemcacheBinaryProtocol 找到 。 


事件 来 了 解 它 的 运作 原理 。 通 常情 况 
少 细节 ?了 幸运 的 是 Memcached 的 二 


我 们 不 会 实现 Memcached 的 所 有 命令 ， 只 会 实现 三 种 操作 : SETGET 和 DELETE。 这 样 做 
事 为 了 让 事情 变 得 简单 。 


1 f& Memcached — xt 4| X 


我 们 说 ,要 实现 Memcached 的 GET, SET, 和 DELETE 操作 。 我 们 仅仅 关注 这 些 ,但 
memcached 协议 有 一 个 通用 的 结构 ,只 有 少数 参数 改变 为 了 改变 一 个 请 求 或 响应 的 意义 。 这 
意味 着 您 可 以 轻松 地 扩展 实现 添加 其 他 命令 。 一 般 协议 有 24 字 节 头 用 于 请 求 和 响应 。 这 个 头 
可 以 分 解 如 下 表 14.1 中 。 


Table 14.1 Sample Memcached header byte structure 


Byte 
Field offset Value 
Magic 0 0x80 用 于 请 求 0x81 用 于 响应 
OpCode 1 0x01...0x1A 


Key length 2 和 3 1...32,767 


axle 0x00, x04, 或 0x08 
length 
Data type 5 0x00 


Reserved 6 和 7 0x00 
Total body 


- B 4 eR 
ET 8-11 tA body 的 长 度 
任何 带 带 符号 的 32-bit 整数 ; 这 个 也 包含 在 响应 中 ， 因 此 更 容 
Opaque | 1215 | 易 将 请 求 映射 到 响应 。 
CAS 16-23 数据 版 本 检查 
注意 每 个 部 分 使 用 的 字 节 数 。 这 告诉 你 接 下 来 你 应 该 用 什么 数据 类 型 。 例 如 ,如 果 字 节 的 偏 移 
3 AX byte 0,78 A & 1% f] —* Java byte 来 表示 它 ; 如 果 它 是 6 和 7(2 字 节 ), 你 使 用 一 个 Java 


e 
short; 如 果 它 是 12-15(4 字 节 ), 你 使 用 一 个 Java int, + + ° 


new binary client connection. 
going from conn_new_cmd to conn_waiting 
going from conn_waiting to conn_read 
going from conn read to conn parse cmd 
Read binary protocol data: 
0x80 0x01 0x00 0x01 
0x08 0x00 0x00 0x00 
0x00 0x00 0x00 OxOc 
0x87 0x90 Oxa7 Oxd9 
0x90 0x00 0x00 0x090 
0x00 0x00 0x00 0x00 
going from conn parse cmd to conn nread 
SET a Value len is 3 
NOT FOUND a 
response: 
0x81 0x01 0x00 0x090 
0x00 0x00 0x00 0x00 
0x00 0x00 0x00 0x00 
0x87 0x90 Oxa7 Oxd9 
0x00 0x00 0x00 0x00 
6x66 0x00 0x00 0x01 
going from conn_nread to conn_mwrite 
going from conn_mwrite to conn_new_cmd 
going from conn_new_cmd to conn_waiting 
going from conn_waiting to conn_read 


1. HR (只 有 显示 头 ) 
2， 响 应 





Figure 14.2 Real-world Memcached request and response headers 


在 图 14.2 中 ,高 亮 显示 的 第 一 部 分 代表 请 求 打 到 Memcached (只 显示 请 求 头 ), 在 这 种 情况 下 是 
告诉 Memcached 来 SET 键 是 “a” 而 值 是 “abc”。 第 部 分 是 响应 。 


突出 显示 的 部 分 中 的 每 一 行 代表 4 个 字 节 ;因为 有 6 行 ,这 意味 着 请 求 头 是 由 24 个 字 节 ,正如 我 们 
之 前 说 的 。 回 顾 表 14.1 中 ,您 可 以 头 ei a MN 文件 中 的 信息 。 现 在 ,这 是 所 有 
你 需要 知道 的 关于 Memcached 二 进 制 协议 。 在 下 一 节 中 ,我 们 需要 看 看 多 么 我 们 可 以 开始 制 
1t Netty 这 些 请 求 。 


Netty 编码 器 和 解码 器 


Netty 的 是 一 个 复杂 和 先进 的 框架 ,但 它 并 不 玄幻 。 当 我 们 请 求 一 些 设 置 了 key 的 给 定 值 时 ,我 
们 知道 Request 类 的 一 个 实例 被 创建 来 代表 这 个 请 求 。 但 Netty 并 不 知道 Request 对 象 是 如 
何 转 成 Memcached 所 期 望 的 。 Memcached 所 期 望 的 是 字 节 序列 ; 忽略 使 用 的 协议 ， 数 据 在 
网 络 上 传输 永远 是 字 节 序列 。 


将 Request 对 象 转 为 Memcached 所 需 的 字 节 序列 ，Netty 需要 用 MemcachedRequest 来 编 
码 成 另外 一 种 格式 。 这 里 所 说 的 另外 一 种 格式 不 单单 是 从 对 象 转 为 字 节 ， 也 可 以 是 从 对 象 转 
为 对 象 ， 或 者 是 从 对 象 转 为 字符 串 等 。 编 码 器 的 内 容 可 以 详 见 第 七 章 。 


Netty 提供 了 一 个 抽象 类 称 为 MessageToByteEncoder。 它 提供 了 一 个 抽象 方法 ,将 一 条 消息 
(在 本 例 中 我 们 MemcachedRequest 对 象 ) 转 为 字 节 。 你 显示 什么 信息 实现 通过 使 用 Java 泛 
型 可 以 处 理 ;例如 ,MessageToByteEncoder 说 这 个 编码 器 要 编码 的 对 象 类 型 是 
MemcachedRequest 


MessageToByteEncoder 和 Java 泛 型 


使 用 Message ToByteEncoder 可 以 绑 定 特定 的 参数 类 型 。 如 果 你 有 多 个 不 同 的 消息 类 型 ， 在 
相同 的 编码 器 里 ， 也 可 以 使 用 MessageToByteEncoder， 注 意 检查 消息 的 类 型 即 可 


这 也 适用 于 解码 器 ,除了 解码 器 将 一 系列 字 节 转换 回 一 个 对 象 。 这 个 Netty 的 提供 了 
ByteToMessageDecoder 类 ,而 不 是 提供 一 个 编码 方法 用 来 实现 解码 。 在 接 下 来 的 两 个 部 分 你 
看 看 如 何 实现 一 个 Memcached 解码 器 和 编码 器 。 在 你 做 之 前 ,应 该 意识 到 在 使 用 Netty 时 ， 
你 不 总 是 需要 自己 提供 编码 器 和 解码 器 。 自 所 以 现在 这 么 做 是 因为 Netty 没有 对 Memcached 
内 置 支持 。 而 HTTP 以 及 其 他 标准 的 协议 ，Netty 已 经 是 提供 的 了 。 


编码 器 和 解码 器 


记 住 , 编 码 器 处 理 出 站 ， 而 解码 器 处 理 入 站 。 这 基本 上 意味 着 编码 器 将 编码 数据 , 写 入 远 端 。 解 
码 器 将 从 远 端 读 取 处 理 数据 。 重 要 的 是 要 记 住 ,出 站 和 入 站 是 两 个 不 同 的 方向 。 

请 注意 ,为 了 程序 简单 ， 我 们 的 编码 器 和 解码 器 不 检查 任何 值 的 最 大 大 小 。 在 实际 实现 中 你 需 

要 一 些 验证 检查 ,如 果 检 测 到 违反 协议 ， 则 使 用 EncoderException 或 DecoderException( 或 一 
FR) 。 


实现 Memcached 编码 器 


本 节 我 们 将 简要 介绍 编码 器 的 实现 。 正 如 我 们 提 到 的 ,编码 器 负责 编码 消息 为 字 节 序列 。 这 些 
字 节 可 以 通过 网 络 发 送 到 远 端 。 为 了 发 送 请 求 ， 我 们 首先 创建 MemcachedRequest 类 , 稍 后 
编码 器 实现 会 编码 为 一 系列 字 节 。 下 面 的 清单 显示 了 我 们 的 MemcachedRequest 类 


Listing 14.1 Implementation of a Memcached request 


public class MemcachedRequest { //1 
private static final Random rand = new Random(); 
private final int magic = 0x80;//fixed so hard coded 
private final byte opCode; //the operation e.g. set or get 
private final String key; //the key to delete, get or set 
private final int flags = Oxdeadbeef; //random 
private final int expires; //0 = item never expires 
private final String body; //if opCode is set, the value 
private final int id - rand.nextInt(); //Opaque 
private final long cas - 0; //data version check...not used 
private final boolean hasExtras; //not all ops have extras 


public MemcachedRequest(byte opcode, String key, String value) { 
this.opCode - opcode; 
this.key - key; 
this.body - value -- null ? "" : value; 
this.expires - 0; 
//only set command has extras in our example 
hasExtras - opcode -- Opcode.SET; 


public MemcachedRequest(byte opCode, String key) { 
this(opCode, key, null); 


public int magic() { //2 
return magic; 


public int opCode() ( //3 
return opCode; 


public String key() ( //4 
return key; 


public int flags() ( //5 
return flags; 


public int expires() ( //6 
return expires; 


public String body() { //7 
return body; 


public int id() { //8 
return id; 


public long cas() { //9 
return cas; 


public boolean hasExtras() { //10 
return hasExtras; 


这 个 类 将 会 发 送 请 求 到 Memcached server 
幻 数 ， 它 可 以 用 来 标记 文件 或 者 协议 的 格式 
opCode, 反 应 了 响应 的 操作 已 经 创建 了 
执行 操作 的 key 

使 用 的 额外 的 flag 

表明 到 期 时 间 

body 

请 求 的 id。 这 个 id 将 在 响应 中 回 显 。 
compare-and-check 的 值 

如 果 有 额外 的 使 用 ， 将 返回 true 


SO DONO AOON 一 


一 人 


你 如 果 想 实现 Memcached 的 其 余部 分 协议 ,你 只 需要 将 client.op(op 任何 新 的 操作 添加 ) 转 换 
为 其 中 一 个 方法 请 求 。 我 们 需要 两 个 更 多 的 支持 类 ,在 下 一 个 清单 所 示 


Listing 14.2 Possible Memcached operation codes and response statuses 


public class Status { 
public static final short NO_ERROR = 0x0000; 
public static final short KEY NOT FOUND = 0x0001; 
public static final short KEY EXISTS - 0x0002; 
public static final short VALUE TOO LARGE - 0x0003; 
public static final short INVALID ARGUMENTS - 0x0004; 
public static final short ITEM NOT STORED - 0x0005; 
public static final short INC DEC NON NUM VAL - 0x0006; 
} 
public class Opcode { 
public static final byte GET = 0x00; 
public static final byte SET = 0x01; 
public static final byte DELETE = 0x04; 


一 个 Opcode 告诉 Memcached 要 执行 哪些 操作 。 每 个 操作 都 由 一 个 字 节 表示 。 同 样 的 , 当 
Memcached 响应 一 个 请 求 ,响应 头 中 包含 两 个 字 节 代表 响应 状态 。 状 态 和 Opcode 类 表示 这 
些 Memcached 的 构造 。 这 些 操作 码 可 以 使 用 当 你 构建 一 个 新 的 MemcachedRequest 指定 哪 
个 行动 应 该 由 它 引 发 的 。 


但 现在 可 以 集中 精力 在 编码 器 上 : 


Listing 14.3 MemcachedRequestEncoder implementation 


public class MemcachedRequestEncoder extends 
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1. 


MessageToByteEncoder<MemcachedRequest> { //1 


@Override 
protected void encode(ChannelHandlerContext ctx, MemcachedRequest msg, 


ByteBuf out) throws Exception { //2 
byte[] key = msg.key().getBytes(CharsetUtil.UTF_8); 
byte[] body = msg.body().getBytes(CharsetUtil.UTF_8); 
//total size of the body = key size + content size + extras size //3 
int bodySize = key.length + body.length + (msg.hasExtras() ? 8 : 0); 


//write magic byte //4 

out.writeByte(msg.magic()); 

//write opcode byte //5 

out.writeByte(msg.opCode()); 

//write key length (2 byte) //6 

out.writeShort(key.length); //key length is max 2 bytes i.e. a Java short //7 
//write extras length (1 byte) 

int extraSize = msg.hasExtras() ? 0x08 : 0x0; 

out.writeByte(extraSize); 

//byte is the data type, not currently implemented in Memcached but required / 


out.writeByte(0); 
//next two bytes are reserved, not currently implemented but are required //9 
out.writeShort(0); 


//write total body length ( 4 bytes - 32 bit int) //10 
out.writeInt(bodySize); 
//write opaque ( 4 bytes) - a 32 bit int that is returned in the response // 


out.writeInt(msg.id()); 


//write CAS ( 8 bytes) 
out.writeLong(msg.cas()); //24 byte header finishes with the CAS //12 


if (msg.hasExtras()) { 
//write extras (flags and expiry, 4 bytes each) - 8 bytes total //13 
out.writeInt(msg.flags()); 
out.writeInt(msg.expires()); 

} 

//write key //14 

out.writeBytes(key); 

//write value //15 

out.writeBytes(body); 


该 类 是 负责 编码 MemachedRequest 为 一 系列 字 节 


转换 的 key 和 实际 请 求 的 body 到 字 节 数组 
计算 body 大 小 

写 幻 数 到 ByteBuf 字 节 

写 opCode 作为 字 节 

写 key 长 度 z 作 为 sho 

编写 额外 的 长 度 作为 字 
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为 保留 字 节 写 为 short ,后 面 的 Memcached 版 本 可 能 使 用 
写 body 的 大 小 作为 long 
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cas 作为 long。 这 个 是 头 文件 的 最 后 部 分 ， 在 body 的 开始 
a5 BA Sb AY flag 和 到 期 时 间 为 int 
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写 数 据 类 型 ,这 总 是 0， 目前 不 是 在 Memcached, 但 可 用 于 使 用 后 来 的 版 本 


总 结 ， 编 码 器 使 用 Netty 的 ByteBuf 处 理 请 求 ， 编 码 MemcachedRequest 成 一 套 正确 排序 


的 字 节 。 详 细 步 骤 为 : 


e 写 幻 数字 节 。 


< 


e 5 bon nue 32 位 整数 ) 。 


。 5 opaque(4 个 字 节 ,一 个 32 位 整数 在 响应 中 返回 )。 
。 写 CAS(8 个 字 节 )。 

。 5 额外 的 (flag 和 到 期 ,4 字 节 )= 8 个 字 节 

e 5 key 
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E 


无 论 你 放 入 什么 到 输出 
展示 如 何 进 ee ss 


实现 Memcached 解码 器 


将 MemcachedRequest 对 象 转 为 字 节 序列 ，Memcached 仅 需 将 字 节 


Sp 
先 见 一 个 POJO: 


Listing 14.7 Implementation of a MemcachedResponse 


& ^t I ( 调用 ByteBuf) Netty 的 将 向 服务 器 发 送 
码 


被 写 入 请 求 。 下 一 节 


转 到 响应 对 象 返 回 即 


Es 


public class MemcachedResponse { //1 
private final byte magic; 
private final byte opCode; 
private byte dataType; 
private final short status; 
private final int id; 
private final long cas; 
private final int flags; 
private final int expires; 
private final String key; 
private final String data; 


public MemcachedResponse(byte magic, byte opCode, 

byte dataType, short status, 
int id, long cas, 
int flags, int expires, String key, String data) { 

this.magic = magic; 

this.opCode = opCode; 

this.dataType = dataType; 

this.status = status; 

this.id = id; 

this.cas = cas; 

this.flags = flags; 

this.expires = expires; 

this. key = key; 

this.data = data; 


public byte magic() { //2 
return magic; 


public byte opCode() { //3 
return opCode; 


public byte dataType() { //4 
return dataType; 


public short status() { //5 
return status; 


public int id() { //6 
return id; 


public long cas() ( //7 
return cas; 


public int flags() { //8 
return flags; 


public int expires() { //9 
return expires; 


public String key() { //10 
return key; 


public String data() ( //11 
return data; 


} 
} 
1. 该 类 ,代表 从 Memcached 服务 器 返回 的 响应 
2. 43 
3. opCode, 这 反映 了 创建 操作 的 响应 
4. 数据 类 型 ,这 表明 这 个 是 基于 二 进 制 还 是 文本 
5， 响 应 的 状态 ,这 表明 如 果 请 求 是 成 功 的 
6. 惟一 的 id 
7. compare-and-set 值 
8. 使 用 额外 的 flag 
9， 表 示 该 值 存储 的 一 个 有 效 期 
10. 响应 创建 的 key 
11. 实际 数据 


下 面 为 MemcachedResponseDecoder， 使 用 了 ByteToMessageDecoder 基 类 ， 用 于 
节 序 列 转 为 MemcachedResponse 


Listing 14.4 MemcachedResponseDecoder class 


public class MemcachedResponseDecoder extends ByteToMessageDecoder { //1 
private enum State { //2 
Header, 
Body 


private State state = State.Header; 
private int totalBodySize; 

private byte magic; 

private byte opCode; 

private short keyLength; 

private byte extraLength; 

private short status; 

private int id; 


private long cas; 


@Override 
protected void decode(ChannelHandlerContext ctx, ByteBuf in, 
List<Object> out) { 
switch (state) { //3 
case Header: 
if (in.readableBytes() < 24) { 
return;//response header is 24 bytes //4 

} 
magic = in.readByte(); //5 
opCode = in.readByte(); 
keyLength = in.readShort(); 
extraLength = in.readByte(); 
in.skipBytes(1); 
status = in.readShort(); 
totalBodySize = in.readInt(); 
id = in.readInt(); //referred to in the protocol spec as opaque 
cas = in.readLong(); 


state = State.Body; 
case Body: 
if (in.readableBytes() < totalBodySize) { 
return; //until we have the entire payload return //6 
} 
int flags = 0, expires = 0; 
int actualBodySize = totalBodySize; 
if (extraLength > 0) { //7 
flags = in.readInt(); 
actualBodySize -= 4; 
} 
if (extraLength > 4) { //8 
expires = in.readInt(); 
actualBodySize -= 4; 
} 
String key = ""; 
if (keyLength > 0) { //9 
ByteBuf keyBytes = in.readBytes(keyLength) ; 
key = keyBytes.toString(CharsetUtil.UTF 8); 
actualBodySize -= keyLength; 
} 
ByteBuf body = in.readBytes(actualBodySize); //10 
String data = body.toString(CharsetUtil.UTF_8); 
out.add(new MemcachedResponse(  //1 
magic, 
opCode, 
status, 
id, 
cas, 
flags, 
expires, 
key, 
data 


DE 


state = State.Header; 


} 
} 
} 
1. 类 负责 创建 的 MemcachedResponse 读 取 字 节 
2， 代表 当 前 解析 状态 ,这 意味 着 我 们 需要 解析 的 头 或 body 
3. 根据 解析 状态 切换 
4, 如 果 不 是 至 少 24 个 字 节 是 可 读 的 , 它 不 可 能 读 整个 头 部 ,所 以 返回 这 里 ,等 待 再 通知 一 次 数 


据 准 备 阅 读 

5. 阅读 所 有 头 的 字段 

6. 检查 是 否 足 够 的 数据 是 可 读 用 来 读 取 完 整 的 响应 的 body。 长 度 是 从 头 读 取 
T. 检查 如 果 有 任何 额外 的 flag 用 于 读 ， 如 果 是 这 样 做 

8. 检查 如 果 响 应 包含 一 个 expire 字段 ， AGREE 

9. 检查 响应 是 否 包 侈 一 个 key ,有 就 读 它 
10. 读 实际 的 body 5 payload 

11. 从 前 面 读 取 字 段 和 数据 构造 一 个 新 的 MemachedResponse 


所 以 在 实现 发 生 了 什么 事 ? 我 们 知道 一 个 Memcached 响应 有 24 位 头 ;我 们 不 知道 是 否 所 有 数 
据 ,响应 将 被 包含 在 输入 ByteBuf ， 当 解码 方法 调用 时 。 这 是 因为 底层 网 络 堆 栈 可 能 将 数据 分 
解 成 块 。 所 以 确保 我 们 只 解码 当 我 们 有 足够 的 数据 ， RAP ORAS iu 的 字 节 的 数量 
至 少 是 24。 一 旦 我 们 有 24 个 字 节 ,我 们 可 以 确定 整个 消息 有 多 大 ,因为 这 个 信息 包含 在 24 位 头 。 


当 我 们 解码 整个 消息 ,我 们 创建 一 个 MemcachedResponse 并 将 其 添加 到 输出 列表 。 任 何 对 象 
添加 到 该 列表 将 被 转发 到 下 一 个 ChannellnboundHandler 在 ChannelPipeline, 因 此 允许 处 
理 。 


测试 编 解码 器 


编码 器 和 解码 器 完成 ,但 仍 有 一 些 缺 失 :测试 。 


wo 和 工作 对 一 些 站 正 的 服务 器 运行 时 ,这 并 不 是 你 应 该 是 依靠 什 
。 第 十 章 所 示 , 为 一 个 自 定义 编写 测试 ChannelHandler 通 常 是 通过 EmbeddedChannel 。 


所 以 这 正 是 现在 做 测试 我 们 定制 的 编 解码 器 ,其 中 包括 一 个 编码 器 和 解码 器 。 让 重新 开始 编码 
器 。 后 面 的 清单 显示 了 简单 的 编写 单元 测试 。 


Listing 14.5 MemcachedRequestEncoderTest class 


public class MemcachedRequestEncoderTest { 


@Test 
public void testMemcachedRequestEncoder() { 
MemcachedRequest request = new MemcachedRequest(Opcode.SET, "key1", "valuei"); //1 


EmbeddedChannel channel = new EmbeddedChannel(new MemcachedRequestEncoder()); //2 
channel.writeOutbound(request); //3 


ByteBuf encoded - (ByteBuf) channel.readOutbound(); 


Assert.assertNotNull(encoded); //4 
Assert.assertEquals(request.magic(), encoded.readUnsignedByte()); //5 
Assert.assertEquals(request.opCode(), encoded.readByte()); //6 
Assert.assertEquals(4, encoded.readShort());//7 
Assert.assertEquals((byte) 0x08, encoded.readByte()); //8 
Assert.assertEquals((byte) 0, encoded.readByte());//9 
Assert.assertEquals(0, encoded.readShort());//10 
Assert.assertEquals(4 + 6 + 8, encoded.readInt());//11 
Assert.assertEquals(request.id(), encoded.readInt());//12 
Assert.assertEquals(request.cas(), encoded.readLong());//13 
Assert.assertEquals(request.flags(), encoded.readInt()); //14 
Assert.assertEquals(request.expires(), encoded.readInt()); //15 


byte[] data - new byte[encoded.readableBytes()]; //16 

encoded.readBytes(data); 

Assert.assertArrayEquals((request.key() + request.body()).getBytes(CharsetUtil.UTF 
.8), data); 

Assert.assertFalse(encoded.isReadable()); //17 


Assert.assertFalse(channel.finish()); 
Assert.assertNull(channel.readInbound()); 


#32 MemcachedRequest 用 于 编码 为 ByteBuf 
新 建 EmbeddedChannel 用 于 保持 MemcachedRequestEncoder 到 测试 
写 请 求 到 channel 并 且 判 断 是 否 产生 了 编码 的 消息 
检查 ByteBuf 是 否 null 
判断 magic 是 否 正 确 写 入 a 
判断 opCode (SET) € 入 正确 
检查 key 是 否 写 入 长 度 cvm 
oo oS 
9. 检查 数据 类 型 是 
10. 检查 是 否 保 留 i. 
11. 检查 body 的 整体 大 小 计算 方式 是 key.length + body.length + extras 
12. 检查 是 否 正 确 写 入 id 
13. 检查 是 否 正确 写 入 Compare and Swap (CAS) 
14. 检查 是 否 正 确 的 flag 
15. 检查 是 否 正确 设置 到 期 时 间 的 
16. 检查 key 和 body 是 否 正确 
17. 检查 是 否 可 读 
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Listing 14.6 MemcachedResponseDecoderTest class 


public class MemcachedResponseDecoderTest { 


QTest 
public void testMemcachedResponseDecoder() { 
EmbeddedChannel channel = new EmbeddedChannel(new MemcachedResponseDecoder( )); 
//1 


byte magic - 1; 
byte opCode - Opcode.SET; 


byte[] key = "Key1".getBytes(CharsetUtil.US_ ASCII); 
byte[] body = "value".getBytes(CharsetUtil.US ASCII); 
int id = (int) System.currentTimeMillis(); 

long cas = System.currentTimeMillis(); 


ByteBuf buffer = Unpooled.buffer(); //2 
buffer .writeByte(magic); 
buffer.writeByte(opCode) ; 
buffer.writeShort(key.length) ; 

buffer .writeByte(0); 
buffer.writeByte(0); 
buffer.writeShort(Status.KEY EXISTS); 
buffer.writelnt(body.length + key.length); 
buffer.writeInt(id); 
buffer.writeLong(cas); 
buffer.writeBytes(key); 
buffer.writeBytes(body); 


Assert.assertTrue(channel.writeInbound(buffer)); //3 


MemcachedResponse response = (MemcachedResponse) channel.readInbound(); 
assertResponse(response, magic, opCode, Status.KEY EXISTS, ©, ©, id, cas, key, 
body);//4 
} 


@Test 
public void testMemcachedResponseDecoderFragments() { 
EmbeddedChannel channel = new EmbeddedChannel(new MemcachedResponseDecoder( )); 
//5 


byte magic - 1; 
byte opCode - Opcode.SET; 


byte[] key = "Key1".getBytes(CharsetUtil.US_ASCII); 
byte[] body = "value".getBytes(CharsetUtil.US ASCII); 
int id - (int) System.currentTimeMillis(); 

long cas - System.currentTimeMillis(); 


ByteBuf buffer - Unpooled.buffer(); //6 
buffer.writeByte(magic); 
buffer.writeByte(opCode); 
buffer.writeShort(key.length); 
buffer.writeByte(0); 
buffer.writeByte(0); 
buffer.writeShort(Status.KEY EXISTS); 
buffer.writelnt(body.length + key.length); 
buffer.writeInt(id); 
buffer.writeLong(cas); 
buffer.writeBytes(key); 
buffer.writeBytes(body); 


ByteBuf fragmenti - buffer.readBytes(8); //7 
ByteBuf fragment2 - buffer.readBytes(24); 
ByteBuf fragment3 - buffer; 


Assert.assertFalse(channel.writelnbound(fragmenti1));  //8 
Assert.assertFalse(channel.writelnbound(fragment2));  //9 
Assert.assertTrue(channel.writelnbound(fragment3));  //10 


MemcachedResponse response - (MemcachedResponse) channel.readInbound(); 
assertResponse(response, magic, opCode, Status.KEY EXISTS, 0, 0, id, cas, key, 
body);//11 
} 


private static void assertResponse(MemcachedResponse response, byte magic, byte op 
Code, short status, int expires, int flags, int id, long cas, byte[] key, byte[] body) 
{ 
Assert.assertEquals(magic, response.magic()); 
Assert.assertArrayEquals(key, response.key().getBytes(CharsetUtil.US ASCII)); 
Assert.assertEquals(opCode, response.opCode()); 
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10. 


11. 


Assert.assertEquals(status, response.status()); 

Assert.assertEquals(cas, response.cas()); 

Assert.assertEquals(expires, response.expires()); 

Assert.assertEquals(flags, response.flags()); 

Assert.assertArrayEquals(body, response.data().getBytes(CharsetUtil.US ASCII)) 


Assert.assertEquals(id, response.id()); 


新 建 EmbeddedChannel ， 持 有 MemcachedResponseDecoder 到 测试 

创建 一 个 新 的 Buffer 并 写 入 数据 ， 与 二 进 制 协议 的 结构 相 匹配 

写 缓冲 区 到 EmbeddedChannel 和 检查 是 否 一 个 新 的 MemcachedResponse 创建 由 声明 
返回 值 

判断 MemcachedResponse 和 预期 的 值 

创建 一 个 新 的 EmbeddedChannel 持 有 MemcachedResponseDecoder 到 测试 

创建 一 个 新 的 Buffer 和 写 入 数据 的 二 进 制 协议 的 结构 相 匹配 

EP DY S| MESH 

写 的 第 一 个 片段 EmbeddedChannel 并 检查 ,没有 新 的 MemcachedResponse 创建 ,因为 并 
不 是 所 有 的 数据 都 是 准备 好 了 

写 第 二 个 片段 EmbeddedChannel 和 检查 ,没有 新 的 MemcachedResponse 创建 ,因为 并 不 
是 所 有 的 数据 都 是 准备 好 了 

写 最 后 一 段 到 EmbeddedChannel 和 检查 新 的 MemcachedResponse 是 否 创 建 ， 因 为 我 
们 终于 收 到 所 有 数据 

判断 MemcachedResponse 与 预期 的 值 


& 2S 


ANT 


阅读 本 章 后 ,您 应 该 能 够 创建 自己 的 编 解码 器 针对 你 最 喜欢 的 协议 。 这 包括 写 编码 器 和 解码 器 ， 
从 字 节 转换 为 你 的 POJO, 反 之 亦 然 。 这 一 章 展示 了 如 何 使 用 一 个 协议 规范 实现 a 


它 还 向 您 展示 了 如 何 编写 单元 测试 完成 你 的 工作 的 编码 器 和 解码 器 ,确保 一 切 工 作 如 预期 而 不 
需要 一 个 完整 的 Memcached 服务 器 运行 。 这 允许 轻松 集成 测试 到 构建 系统 的 中 。 


EventLoop 和 线程 模型 


本 章 介 绍 


e 线程 模型 的 总 览 
e EventLoop 

。 并 发 

e 任务 执行 

e 任务 调度 


线程 模型 定义 了 应 用 或 者 框架 如 何 执行 你 的 代码 ， 所 以 选择 线程 模型 极其 重要 。Netty 提供 了 
一 个 简单 强大 的 线程 模型 来 帮助 我 们 简化 代码 。 所 有 ChannelHandler > &,4& 3c 4 3£ 44 > AR ER 
证 由 一 个 Thread 同时 执行 特定 的 Channel。 这 并 不 意味 着 Netty 不 能 使 用 多 线程 ， 只 是 Netty 
限制 每 个 Channel 都 由 一 个 Thread 处 理 ， 这 种 设计 适用 于 非 阻塞 IO 操作 。 


读 完 本 章 就 会 深刻 理解 Netty 的 线程 模型 以 及 Nett y 团 队 为 什么 会 选择 这 样 的 线程 模型 ， 这 些 
言 息 可 以 让 我 们 在 使 用 Netty 时 让 程序 由 最 好 的 性 能 。 此 外 ，Netty 提供 的 线程 模型 还 可 以 让 
我 们 编写 整洁 简单 的 代码 ， 以 保持 代码 的 整洁 性 ; 我 们 还 会 学 习 Netty 团队 的 经 验 ， 过 去 使 用 
其 他 的 线程 模型 ， 现 在 我 们 将 使 用 Netty 提供 的 更 容易 更 强大 的 线程 模型 来 开发 。 


本 章 假设 如 下 : 
e 你 明白 线程 是 什么 以 及 如 何 使 用 ， 并 有 使 用 线程 的 工作 经 验 。 若 不 是 这 样 ， 就 请 花 些 时 
间 来 了 解 清楚 这 些 知 识 。 推 荐 一 本 书 : (Java Concurrency in Practice (Java 并 发 编程 


实战 ) ) (Brian Goetz) 。 
e 你 了 解 多 线程 应 用 程序 及 其 设计 ， 也 包括 如 何 保证 线程 安全 和 获取 最 佳 性 能 。 


本 节 将 简单 介绍 一 般 的 线程 模型 ，Netty 中 如 何 使 用 指定 的 线程 模型 ， 以 及 Netty 过 去 不 同 的 
版 本 中 使 用 的 线程 模型 。 你 会 更 好 的 理解 不 同 的 线程 模型 的 所 有 利 现 。 


一 个 线程 模型 指定 代码 执行 ,给 开发 人 员 如 何 执行 他 们 代码 的 信息 。 这 很 重要 ,因为 它 允 许 开发 
人 员 事 先知 道 如 何 保护 他 们 的 代码 免 受 并 发 执行 的 副 ve 若 没 有 这 个 知识 背景 ， 即 使 是 最 
好 的 开发 人 员 都 只 能 是 碰 运 气 ,希望 到 最 后 都 能 这 么 幸运 ,但 这 几乎 是 不 可 能 的 。 进 入 更 多 的 细 
节 之 前 ,提供 一 个 更 好 的 理解 主题 的 回顾 这 些 天 大 多 数 应 2 


大 多 用 程序 使 用 多 个 线程 调度 工作 ,因此 让 应 用 程序 使 用 所 有 可 用 的 系统 资源 以 有 效 
的 方式 。 这 使 得 很 多 有 意义 ,因为 大 部 分 硬件 有 不 止 一 个 甚至 多 个 CPU 核心 。 如 果 一 切 都 只 有 
一 个 Thread 不 可 能 完全 使 用 所 提供 的 资源 。 为 了 解决 这 个 问题 ,许多 应 用 程序 执行 多 个 

Thread 的 运行 代码 。 在 早期 的 Java, 这 样 做 是 通过 简单 地 按 需 创建 新 Thread 时 ,并 行 工作 需 

要 做 。 


但 很 快 就 发 现 ,这 不 是 完美 的 ,因为 创建 Thread 和 回收 会 给 他 们 带 来 的 开销 。 在 Java 5 中 ,我 
们 终于 有 了 所 谓 的 线程 池 , 经 常 缓存 Thread, 用 来 消除 创建 和 回收 Thread 的 开销 。 这 些 池 由 
Executor 接口 提供 。Java 5 提供 了 许多 有 用 的 实现 ,在 其 内 部 发 生 显著 的 变化 ,但 思想 都 一 脉 
相 承 的。 创建 Thread 和 重用 他 们 提交 一 个 任务 时 执行 。 这 可 以 帮助 创建 和 回收 线程 的 开销 降 
到 最 低 。 


下 图 显示 使 用 一 个 线程 池 执行 一 个 任务 ， 提 交 一 个 任务 后 会 使 用 线程 池 中 空闲 的 线程 来 执 
行 ， 完 成 任务 后 释放 线程 并 将 线程 重新 放 回 线程 池 : 







Get free 
Thread and 


Executor.exeCute(..) 





E xecutor imp 人 
(Thread-Pool) 





1. Runnable 表示 要 执行 的 任务 。 这 可 能 是 任何 东西 ,从 一 个 数据 库 调用 文件 系统 清理 。 


2. 之 前 runnable 移交 到 线程 池 。 

3. 闲置 的 线程 被 用 来 执行 任务 。 当 一 个 线程 运行 结束 之 后 , 它 将 回 到 闲置 线程 的 列表 新 任务 
需要 运行 时 被 重用 。 

4. 线程 执行 任务 


Figure 15.1 Executor execution logic 
这 个 修复 Thread 创建 和 回收 的 开销 ,不 需要 每 个 新 任务 创建 和 销毁 新 的 Thread 。 


但 使 用 多 个 Thread 提供 了 资源 和 管理 成 本 ,作为 一 个 副作用 ,引入 了 太 多 的 上 下 文 切换 。 这 种 
会 随 着 运行 的 线程 的 数量 和 任务 执行 的 数量 的 增加 而 和 恶化。 尽管 使 用 多 个 线程 在 开始 时 似乎 
不 是 一 个 问题 ,但 一 旦 你 把 真正 工作 负载 放 在 系统 上 ， 可 以 会 遗 受 到 重 击 。 


除了 这 些 技术 的 限制 和 问题 ,其 他 问题 可 能 发 生 在 相关 的 维护 应 用 程序 /框架 在 未 来 或 在 项 目的 
生命 周期 里 。 有 效 地 说 ,增加 应 用 程序 的 复杂 性 取决 于 对 比 。 当 状态 简单 时 , 写 一 个 多 线程 应 用 
程序 是 一 个 首 苦 的 工作 ! 你 能 解决 这 个 问题 吗 ? 在 实际 的 场景 中 需要 多 个 Thread 规模 ;这 是 一 个 
事实 。 让 我 们 看 看 Netty 是 解决 这 个 问题 。 


EventLoop 


事件 循环 所 做 的 正如 它 的 名 字 所 说 的 。 它 运行 在 一 个 循环 里 ， 直到 它 的 终止 。 这 符合 网 络 框架 
的 设计 ,因为 他 们 需要 在 一 个 循环 为 一 个 特定 的 连接 运行 事件 。 这 不 是 Netty 发 明 新 的 东西 ;其 
他 框架 和 实现 已 经 这 样 做 了 。 


下 面 的 清单 显示 了 典型 的 EventLoop 逻辑 。 请 注意 这 是 为 了 更 好 的 说 明 这 个 想法 而 不 是 单单 
展示 Netty 实现 本 身 。 


Listing 14.1 Execute task in EventLoop 


while (!terminated) { 
List<Runnable> readyEvents = blockUntilEventsReady(); //1 
for (Runnable ev: readyEvents) { 
ev.run(); //2 


} 


1， 阻 塞 直到 事件 可 以 运行 
2. 循环 所 有 事件 ， 并 运行 他 们 


在 Netty 中 使 用 EventLoop 接口 代表 事件 循环 ，EventLoop 是 从 EventExecutor 和 
ScheduledExecutorService 扩展 而 来 ， 所 以 可 以 将 任务 直接 交 给 EventLoop 执行 。 类 关系 图 
如 下 : 


«interface» 
ScheduledExecutorService 


«interface» 


EventExecutorGroup 
(java. util.concurrent) 





vni SingleThreadEventExecutor 
EventLoop 


Figure 15.2 EventLoop class hierarchy 


EventLoop 是 完全 由 一 个 Thread, 从 未 改变 。 为 了 更 合理 利用 资源 ,根据 配置 和 可 用 的 内 核 ， 
Netty 可 以 使 用 多 个 EventLoop ° 


事件 /任务 执行 顺序 


一 个 重要 的 细节 关于 事件 和 任务 的 执行 顺序 是 ,事件 /任务 执行 顺序 按照 FIFO( 先 进 先 出 ) 。 这 是 
必要 的 ,因为 否则 事件 不 能 按 顺序 处 理 , 所 处 理 的 字 节 将 不 能 保证 正确 的 顺序 。 这 将 导致 问题 ,所 
以 这 个 不 是 所 允许 的 设计 。 


Netty 4 中 的 I/O 和 事件 处 理 


Netty 使 用 1/0 事件 ,b 被 各 种 |/O 操作 运输 本 身 所 触发 。 这 些 VO 操作 ， 例 如 网 络 API 的 一 部 
分 ， 由 Java 和 底层 操作 系统 提供 。 


一 个 区 别 在 于 ,一 些 操作 (或 者 事件 ) 是 由 Netty 的 本 身 的 传输 实现 触发 的 ， 一 些 是 由 用 户 自己 。 
例如 读 事件 通常 是 由 传输 本 身 在 读 取 一 些 数 据 时 触发 。 相 比 之 下 , 写 事件 通常 是 由 用 户 本 身 , 例 
如 , 当 调 用 Channel.write(...) ° 


究竟 需要 做 一 次 处 理 一 个 事件 取决 于 事件 的 性 质 。 经 常会 读 网 络 栈 的 数据 转移 到 您 的 应 用 程 
序 。 有 了 时 它 会 在 另 一 个 方向 做 同样 的 事情 ,例如 ,把 数据 从 应 用 程序 到 网 络 堆 栈 (内 核 ) 发 送 到 它 
的 远 端 。 但 不 限于 这 种 类 型 的 事务 ;重要 的 是 ,所 使 用 的 逻辑 是 通用 的 ,灵活 地 处 理 各 种 各 样 的 用 
例 o 


VO 和 事件 处 理 的 一 个 重要 的 事情 在 Netty 4, 是 每 一 个 VO 操作 和 事件 总 是 由 EventLoop AF 
处 理 ,以 及 分 配给 EventLoop 的 Thread 。 


我 们 应 该 注意 ,Netty 不 总 是 使 用 我 们 描述 的 线程 模型 (通过 EventLoop 抽象 )。 在 下 一 节 中 ,你 
会 了 解 Netty 3 中 使 用 的 线程 模型 。 这 将 帮助 你 理解 为 什么 现在 用 新 的 线程 模型 以 及 为 什么 使 
用 取代 了 Netty 3 中 仍然 使 用 的 昌 模 式 。 


Netty 3 中 的 I/O 操作 


在 以 前 的 版 本 中 ,线程 模型 是 不 同 的 。Netty 保证 只 将 入 站 (以 前 称 为 upstream) 事 件 在 执行 1O 
Thread 执行 (I/O Thread 现在 在 Netty 4 "| EventLoop )。 所 有 的 出 站 (以 前 称 为 downstream) 
事件 被 调用 Thread 处 理 ,这 可 能 是 I/O Thread 也 可 以 能 是 其 他 Thread。 这 听 起 来 像 一 个 好 主 
意 , 但 原来 是 容易 出 错 ,因为 处 理 ChannelHandler 需 要 小 心 的 出 站 事件 同步 ,因为 它 没 有 保证 只 
有 一 个 线程 运行 在 同一 时 间 。 这 可 能 会 发 生 如 果 你 触发 downstream 事件 同时 在 一 个 管道 时 ; 
例如 ,您 调用 Channel.write(..) 在 不 同 的 线程 。 


除了 需要 负担 同步 ChannelHandler， 这 个 线程 模型 的 另 一 个 问题 是 你 可 能 需要 去 掉 一 个 入 站 
事件 作为 一 个 出 站 事件 的 结果 ， 例 如 Channel.write(..) 操作 导致 异常 。 在 这 种 情况 下 ， 
exceptionCaught 必须 生成 并 抛 出 去 。 乍 看 之 下 这 不 像 是 一 个 问题 ， 但 我 们 知道 ， 
exceptionCaught 由 入 站 事件 涉及 ， 会 让 你 知道 问题 出 在 哪里 。 问 题 是 ， 事 实 上 ， 你 现在 的 情 
况 是 在 调用 Thread 上 执行 ， 但 exceptionCaught 事件 必须 交 给 工作 线程 来 执行 ， 这 样 上 下 文 
切换 是 必须 的 。 


相 比 之 下 ,Netty 4 新 线程 模型 根本 没有 这 些 问 题 ,因为 一 切 都 在 同一 个 EventLoop 在 同一 
Thread 中 执行 。 这 消除 了 需要 同步 ChannelHandler ,并 且 使 它 更 容易 为 用 户 理解 执行 。 


现在 你 知道 EventLoop 如 何 执行 任务 , 它 的 时 间 来 快速 浏览 下 Netty 的 各 种 内 部 功能 。 


Netty 线程 模型 的 内 部 


Netty 的 内 部 实现 使 其 线程 模型 表现 优异 ， 它 会 检查 正在 执行 的 Thread 是 否 是 已 分 配给 实际 
Channel (和 EventLoop)， 在 Channel 的 生命 周期 内 ，EventLoop 负责 处 理 所 有 的 事件 。 


如 果 Thread 是 相同 的 EventLoop 中 的 一 个 ， 讨 论 的 代码 块 被 执行 ; 如 果 线 程 不 同 ， 它 安排 

一 个 任务 并 在 一 个 内 部 队列 后 执行 。 通 常 是 通过 EventLoop 的 Channel 只 执行 一 次 下 一 个 事 
件 ， 这 允许 直接 从 任何 线程 与 通道 交互 ， 同 时 还 确保 所 有 的 ChannelHandler 是 线程 安全 ， 不 
需要 担心 并 发 访问 问题 。 


下 图 显示 在 EventLoop 中 调度 任务 执行 逻辑 ， 这 适合 Netty 的 线程 模型 : 





Channel.eventLoop() 
.execute( Task 1); 


应 在 EventLoop 中 执行 的 任务 

任务 传递 到 执行 方法 后 ,执行 检查 来 检测 调用 线程 是 否 是 与 分 配给 EventLoop 是 一 样 的 
线程 是 一 样 的 ,说 明 你 在 EventLoop 里 ， 这 意味 着 可 以 直接 执行 的 任务 

线程 与 EventLoop 分 配 的 不 一 样 。 当 EventLoop 事件 执行 时 ， 队 列 的 任务 再 次 执行 一 次 


FwNnN > 


15.5 EventLoop execution logic/flow 
设计 是 非常 重要 的 ， 以 确保 不 要 把 任何 长 时 间 运 行 的 任 
的 任务 会 阻止 其 他 在 相同 线程 上 执行 的 任务 。 这 多 少 会 
用 于 特殊 传输 的 实现 。 


务 放 在 执行 队列 中 ， 因 为 长 时 间 运 行 
影响 整个 系统 依赖 于 EventLoop 实现 


传输 之 间 的 切换 在 你 的 代码 库 中 可 能 没有 任何 改变 ， 重 要 的 是 : 切 勿 阻塞 MO 线程 。 如 果 你 必 
须 做 阻塞 调用 (或 执行 需要 长 时 间 才 能 完成 的 任务 )， 使 用 EventExecutor 。 

下 一 节 将 讲解 一 个 在 应 用 程序 中 经 常 使 用 的 功能 ， 就 是 调度 执行 任务 (定期 执行 )。Java 对 这 个 
需求 提供 了 解决 方案 ， 但 Netty 提供 了 几 个 更 好 的 方案 
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deed 间 需 要 调度 任务 执行 ， 也 许 你 想 NM Gees 户 端 完成 连接 5 分 钟 后 执行 ， 一 
见 的 用 例 是 发 送 一 个 消息 “你 还 活着 ? ”到 远 ， 如 果 远 端 没 有 反应 ， 则 可 以 关闭 通道 
EM WR o 


本 节 介绍 使 用 强大 的 EventLoop 实现 任务 调度 ， 还 会 简单 介绍 Java API 的 任务 调度 ， 以 方便 
和 Netty 比较 加 深 理 解 。 


使 用 普通 的 Java API 调度 任务 


在 Java 中 使 用 JDK 提供 的 ScheduledExecutorService 实现 任务 调度 。 使 用 Executors 提供 
的 静态 方法 创建 ScheduledExecutorService， 有 如 下 方法 


Table 15.1 java.util.concurrent.Executors-Static methods to create a 
ScheduledExecutorService 


方法 述 
newScheduledThreadPool(int corePoolSize) 创建 
newScheduledThreadPool(int Pads 
corePoolSize, ThreadFactorythreadFactory) 新 的 


ScheduledThreadExecutorService 用 于 调度 命令 来 延迟 或 者 周期 性 的 执行 。 corePoolSize 用 
于 计算 线程 的 数量 newSingleThreadScheduledExecutor() 
newSingleThreadScheduledExecutor(ThreadFact orythreadFactory) | 新 建 一 个 
ScheduledThreadExecutorService 可 以 用 于 调度 命令 来 延迟 或 者 周期 性 的 执行 。 它 将 使 用 一 
个 线程 来 执行 调度 的 任务 


下 面 的 ScheduledExecutorService 调度 任务 60 执行 一 次 


Listing 15.4 Schedule task with a ScheduledExecutorService 


ScheduledExecutorService executor = Executors 
.newScheduledThreadPool(10); //1 


ScheduledFuture<?> future = executor.schedule( 
new Runnable() { //2 
@Override 
public void run() { 
System.out.println("Now it is 60 seconds later"); //3 
j 
}, 60, TimeUnit.SECONDS); //4 
// do something 
// 


executor.shutdown(); //5 


新 建 ScheduledExecutorService 使 用 10 个 线程 

新 建 runnable 调度 执行 

稍 后 运行 

调度 任务 60 秒 后 执行 

关闭 ScheduledExecutorService 来 释放 任务 完成 的 资源 
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使 用 EventLoop 调度 任务 


ScheduledExecutorService 工作 的 很 好 ， 但 是 有 局 限 性 ， 比 如 在 一 个 额外 的 线程 中 执行 
。 如 果 需 要 执行 很 多 任务 ， 资 源 使 用 就 会 很 严重 ; 对 于 像 Netty 这 样 的 高 性 能 的 网 络 框架 
， 严重 的 资源 使 用 是 不 能 接受 的 。Netty 对 这 个 问题 提供 了 很 好 的 方法 。 


Netty 允许 使 用 EventLoop 调度 任务 分 配 到 通道 ， 如 下 面 代 码 : 


Listing 15.5 Schedule task with EventLoop 


Channel ch = null; // Get reference to channel 
ScheduledFuture<?> future = ch.eventLoop().schedule( 
new Runnable() { 
@Override 
public void run() { 
System.out.println("Now its 60 seconds later"); 


} 
}, 60, TimeUnit.SECONDS); 


1. 新 建 runnable 用 于 执行 调度 
2. 稍 后 执行 
3， 调 度 任务 60 秒 后 


如 果 想 任务 每 隔 多 少 秒 执行 一 次 ， 看 下 面 代 码 : 


Listing 15.6 Schedule a fixed task with the EventLoop 


Channel ch = null; // Get reference to channel 
ScheduledFuture<?> future = ch.eventLoop().scheduleAtFixedRate( 
new Runnable() { 
@Override 
public void run() { 
System.out.println("Run every 60 seconds"); 


} 
}, 60, 60, TimeUnit .SECONDS) ; 


1. 新 建 runnable 用 于 执行 调度 
2. 将 运行 直到 ScheduledFuture 被 取消 
3. 调度 任务 60 秒 运行 


取消 操作 ， 可 以 使 用 ScheduledFuture 返回 每 个 异步 操作 。 ScheduledFuture 提供 一 个 方法 
用 于 取消 一 个 调度 了 的 任务 或 者 检查 它 的 状态 。 一 个 简单 的 取消 操作 如 下 : 


ScheduledFuture<?> future = ch.eventLoop() 
.scheduleAtFixedRate(..); //1 

// Some other code that runs... 
future.cancel(false); //2 


1. 调度 任务 并 获取 返回 的 ScheduledFuture 
2. 取消 任务 ， 阻 止 它 再 次 运行 


调度 的 内 部 实现 


Netty 内 部 实现 其 实 是 基于 George Varghese 提出 的 “Hashed and hierarchical timing wheels: 
Data structures to efficiently implement timer facility( 散 列 和 分 层 定时 轮 : 数据 结构 有 效 实现 
定时 器 )”。 这 种 实现 只 保证 一 个 近似 执行 ， 也 就 是 说 任务 的 执行 可 能 不 是 100% 准 确 ; 在 实践 
中 ， 这 已 经 被 证 明 是 一 个 可 容忍 的 限制 ， 不 影响 多 数 应 用 程序 。 所 以 ， 定 时 执行 任务 不 可 能 
100% 准 确 的 按时 执行 。 


为 了 更 好 的 理解 它 是 如 何 工 作 ， 我 们 可 以 这 样 认 为 : 


e 在 指定 的 延迟 时 间 后 调度 任务 ; 

e 任务 被 插入 到 EventLoop 的 Schedule-Task-Queue( 调 度 任务 队列 ) ; 
e 如 果 任务 需要 马上 执行 ，EventLoop 检查 每 个 运行 ; 

e 如 果 有 一 个 任务 要 执行 ，EventLoop 将 立刻 执行 它 ， 并 从 队列 中 删除 ; 
e EventLoop 等 待 下 一 次 运行 ， 从 第 4 步 开 始 一 遍 又 一 遍 的 重复 。 


为 这 样 的 实现 计划 执行 不 可 能 100% 正 确 ， 对 于 多 数 用 例 不 可 能 100% 准 备 的 执行 计划 任 
务 ; 在 Netty 中 ， 这 样 的 工作 几乎 没有 资源 开销 。 


但 是 如 果 需 要 更 准确 的 执行 呢 ? 很 容易 ， 你 需要 使 用 ScheduledExecutorService 的 另 一 个 实 
现 ， 这 不 是 Netty 的 内 容 。 记 住 ， 如 果 不 遵循 Netty 的 线程 模型 协议 ， 你 将 需要 自己 同步 并 发 
访问 。 


I/O EventLoop/Thread 分 配 细节 


Netty 的 使 用 一 个 包含 EventLoop 的 EventLoopGroup 为 Channel 的 I/O 和 事件 服务 。 
EventLoop 创建 并 分 配方 式 不 同 基 于 传输 的 实现 。 异 步 实 现 使 用 只 有 少数 EventLoop( 和 
Threads) 共 享 于 Channel 之 间 。 这 允许 最 小 线程 数 服务 多 个 Channel, 不 需要 为 他 们 每 个 人 都 
有 一 个 专门 的 Thread ° 


图 15.7 显 示 了 如 何 使 用 EventLoopGroup ° 


.jpg) 


1. 所 有 的 EventLoop 由 EventLoopGroup 分 配 。 这 里 它 将 使 用 三 个 EventLoop 实例 
2. 这 个 EventLoop 处 理 所 有 分 配给 它 管道 的 事件 和 任务 。 每 个 EventLoop 绑 定 到 一 个 
a 
3. Mann EventLoop, 所 以 所 有 操作 总 是 被 同一 个 线程 在 Channel 的 生命 周期 执行 。 一 
道 属于 一 个 连接 


Figure 15.7 Thread allocation for nonblocking transports (such as NIO and AIO) 


如 图 所 述 ， 使 用 有 3 个 EventLoop (每 个 都 有 一 个 Thread ) EventLoopGroup ° EventLoop 
(同时 也 是 Thread ) 直接 当 EventLoopGroup 创建 时 分 配 。 这 样 保 证 资源 是 可 以 使 用 的 


这 三 个 EventLoop 实例 将 会 分 配给 
管理 EventLoop 实例 。 实 际 实现 会 
不 同 的 Thread) ° 


每 个 新 创建 的 Channel。 这 是 通过 EventLoopGroup 实现 ， 
照顾 所 有 EventLoop 实例 上 均匀 的 创建 Channel (同样 是 


—# Channel 是 分 配给 一 个 EventLoop, 它 将 使 用 这 个 EventLoop 在 它 的 生命 周期 里 和 同样 
的 线程 。 你 可 以 ;也 应 该 ,依靠 这 个 ,因为 它 可 以 确保 你 不 需要 担心 同步 (包括 线程 安全 、 可 见 性 
和 同步 ) 在 你 ChannelHandler 实 现 。 


但 是 这 也 会 影响 使 用 ThreadLocal, 例 如 ,经 常 使 用 的 应 用 程序 。 因 为 一 个 EventLoop 通常 影响 
多 个 Channel,ThreadLocal 将 相同 的 Channel 分 配给 EventLoop。 因 此 , 它 适合 状态 跟踪 等 
等 。 它 仍然 可 以 用 于 共享 重 或 唤 贵 的 对 象 之 间 的 Channel ,不 再 需要 保持 状态 ,因此 它 可 以 用 于 
每 个 事件 ,而 不 需要 依赖 于 先前 ThreadLocal 的 状态 。 


EventLoop 和 Channel 


我 们 应 该 注意 ,在 Netty 4, Channel 可 能 从 EventLoop 注销 稍 后 又 从 不 同 EventLoop 注册 。 
这 个 功能 是 不 赞成 ,因为 它 在 实践 中 没有 很 好 的 工作 


语义 跟 其 他 传输 略 有 不 同 ,如 OIO(Old Blocking 1/O) 运 输 ,可 以 看 到 如 图 14.8 所 示 。 


.jpg) 


1. 所 有 EventLoop 从 EventLoopGroup 分 配 。 每 个 新 的 channel 将 会 获得 新 的 EventLoop 
2. EventLoop 分 配给 channel 用 于 执行 所 有 事件 和 任务 
3. Channel 绑 定 到 EventLoop。 一 个 channel 属于 一 个 连接 


Figure 15.8 Thread allocation of blocking transports (Such as OIO ) 

你 可 能 会 注意 到 这 里 ,一 个 EventLoop (也 是 一 个 Thread) 创 建 每 个 Channel。 你 可 能 被 用 来 从 
开发 网 络 应 用 程序 是 基于 常规 阻塞 IO 在 使 用 java.io.* 包 。 但 即使 语义 变化 在 这 种 情况 下 ,有 一 
件 事 仍然 是 相同 的 :每 个 |/O 通道 将 由 一 次 只 有 一 个 线程 来 处 理 ,这 是 一 个 线程 增强 Channel 的 
EventLoop。 可 以 依靠 这 个 硬性 的 规则 ,使 Netty 的 框架 很 容易 与 其 他 网 络 框架 进行 比较 。 


总 结 
在 这 一 章 里 ,你 知道 Netty 使 用 哪个 线程 模型 。 你 学 会 了 使 用 线程 模型 的 优 缺点 以 及 当 使 用 
Netty 它们 如 何 简化 你 的 生活 。 

除了 学 习 的 内 部 运作 ,您 获得 了 洞察 力 ， 知 道 如 何 可 以 执行 自己 的 任务 在 EventLoop(l/O 
Thread) 和 Netty 一 样 。 你 学 会 了 如 何在 一 大 堆 任务 中 安排 任务 。 您 还 了 解 了 如 何 验证 一 个 任 
务 是 否 执行 以 及 如 何 取消 它 。 


你 现在 知道 Netty 使 用 的 各 个 先前 版 本 的 线程 模型 ， 你 获得 了 更 多 的 背景 信息 知道 为 什么 新 线 

程 模型 是 更 强大 的 。 

你 对 Netty 的 线程 模型 有 了 深入 了 解 ,从 而 帮助 您 最 大 限度 地 提高 您 的 应 用 程序 性 能 ,同时 最 小 

化 所 需 的 代码 。 关 于 线程 池 和 并 发 访问 的 更 多 信息 ,请 参阅 Java Concurrency in Practice 
(Brian Goetz) 。 他 的 书 将 会 给 你 一 个 更 深层 次 的 了 解 ,即使 是 最 复杂 的 应 用 程序 必须 处 理 多 

线程 的 用 例 场景 。 


用 例 1: Droplr Firebase 和 Urban Airship 
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用 例 2 : Facebook 和 Twitter 
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